Отслеживание конкурентов для перехвата доменов
Это не совсем в продолжении темы сетки PBN на дропах, но при желании можно переложить этот подход и туда. В рассматриваемом случае у меня была другая задача — в коммерческой тематике найти сайты конкурентов, которые будут дропнуты. Это нужно для перехвата домена и разворачивания на нём полноценного сайта для продвижения в поиске и сбора заявок. То есть для построения сети сайтов с целью захвата выдачи. По этим же причинам все домены на скриншотах будут замазаны — смысловая нагрузка от этого не пострадает.
Алгоритм я подготовил сам, сразу постарался его автоматизировать и ускорить, насколько это было возможно.
Сбор базы конкурентов
Для начала нужно подготовить список адресов сайтов-конкурентов. Для этого берём самый жирный запрос (или несколько таких) и парсим выдачу яндекса и гугла. Можно это делать вручную, я же воспользовался сервисом «снимок выдачи» в топвизоре.
В итоге получается список как на скриншоте.
Чистка списка
Далее этот список целевых страниц нужно почистить. Во-первых, нужно убрать дубли — некоторые сайты выводятся дважды разными страницами. Во-вторых, убрать нецелевые домены, типа авито и вк. И напоследок отформатировать весь список, оставив только доменные имена.
Для этой задачи я использовал таблицу в Google SpreadSheets. В топвизоре есть возможность экспорта в csv формат — открываем полученный файл и копируем столбцы с доменами в гугл-файл.
В таблице я сделал три колонки: страница, домен и окончание. Список страниц из топвизора вставил в первую колонку. Во вторую с помощью формулы перенёс только домен. Формула получилась такой:
=REGEXEXTRACT(A2,"^(?:https?:\/\/)?(?:www\.)?([^\/]+)")
Её нужно ввести для первой ячейки и потянуть вниз на весь столбец, чтобы действие применилось для всех строчек.
Полученный список доменов желательно почистить на повторы с помощью аддона. Я использовал Remove Duplicates, установка доступна из меню Add-ons — Get add-ons. После установки натравливаем его на вторую колонку с доменами, скрипт отмечает цветом дубли, затем остаётся лишь удалить строки с ними.
Массовая проверка доменов
Полученный список — уже неплохой результат. Его можно сохранить и мониторить раз в пару недель пропавшие оттуда домены — причиной исчезновения будут либо фильтры, либо разделегирование домена.
Но если хочется более детальной информации здесь и сейчас, то можно проверить данные по доменам. Для массовой проверки я использовал сервис https://www.bulkseotools.com/bulk-domain-drop-date-checker.php. В него можно загрузить большой список доменов и через пару минут получить даты регистрации и освобождения.
Можно сразу отсортировать таблицу результатов по колонке Expires и увидеть ближайшие освобождающиеся домены.
Важной особенностью сервиса является возможность экспорта полученных данных в csv-формат. А значит, можно будет удобно скопировать колонку с датой освобожения и вставить её в гугл-документ.
Подсветка освобождающихся доменов
В гугл-документе можно настроить условное оформление ячеек. Я воспользовался этой возможностью, чтобы подсветить домены, освобождаемые в течение месяца. Для этого в контекстном меню нужно выбрать Conditional formatting и указать диапазон ячеек, в моём случае это C2:C175. Затем добавить условие Date is before и указать exact date. Я выставил +месяц, то есть 2018-10-10. Все подходящие ячейки выделить жёлтым. В итоге сразу наглядно и понятно, на какие домены следует обратить внимание в первую очередь.
Автоматический мониторинг доменов от REG.RU
И в финале — настройка мониторинга доменов. Для этого я выбрал REG.RU. Нужная услуга находится в разделе «Домены» — «Мониторинг доменов». В форму нужно скопировать домены из второго столбца полученной таблицы.
По стоимости получается 4 рубля в месяц за домен. Если заказывать на 3 месяца и более, то активируется скидка и за домен берут 3 рубля.
На этом этапе можно ещё раз пробежаться по списку и выкинуть из него неподходящие домены.
Отличная автоматизация-)!
Спасибо за идею. Сделал несколько иначе чем у тебя. У меня постоянно проверяются топы по ключевым фразам, то есть есть база конкурентов по всему СЯ на 900 000 доменов примерно. И я постоянно вытягиваю с аукционов потенциальных дропов — база примерно на 300 000 доменов. Пересек эти две базы и нашлось сразу 10 000 доменов которые были или есть в топе и начали процесс освобождения. Начал копать дальше и заметил, что большую часть доменов которые уже на подходе к освобождению и у ни есть еще позиции в топе выкупили на аукционе. Причем показатели этих доменов не супер. Я бы не взял. А народ делает активно ставки и борется за них. Может оно того и стоит. Попробую.
Читал читал и оборвалось всё на самом интересном.
А что потом-то?
Допиши!
Мониторить. Если продлили, то что?
Если не продлили — то что?)
Если не продлили, а ссылочное хорошее — то перехватывать.
А что дальше можно делать с таким доменом?
Регистрировать на себя. Потом либо клеить к основному продвигаемому сайту, либо делать отдельный сайт для последующей линковки или вывода в топ сёрпа.