Отслеживание конкурентов для перехвата доменов

Это не совсем в продолжении темы сетки PBN на дропах, но при желании можно переложить этот подход и туда. В рассматриваемом случае у меня была другая задача — в коммерческой тематике найти сайты конкурентов, которые будут дропнуты. Это нужно для перехвата домена и разворачивания на нём полноценного сайта для продвижения в поиске и сбора заявок. То есть для построения сети сайтов с целью захвата выдачи. По этим же причинам все домены на скриншотах будут замазаны — смысловая нагрузка от этого не пострадает.

Алгоритм я подготовил сам, сразу постарался его автоматизировать и ускорить, насколько это было возможно.

Сбор базы конкурентов

Для начала нужно подготовить список адресов сайтов-конкурентов. Для этого берём самый жирный запрос (или несколько таких) и парсим выдачу яндекса и гугла. Можно это делать вручную, я же воспользовался сервисом «снимок выдачи» в топвизоре.

В итоге получается список как на скриншоте.

сервис «снимок выдачи» от топвизор

Чистка списка

Далее этот список целевых страниц нужно почистить. Во-первых, нужно убрать дубли — некоторые сайты выводятся дважды разными страницами. Во-вторых, убрать нецелевые домены, типа авито и вк. И напоследок отформатировать весь список, оставив только доменные имена.

Для этой задачи я использовал таблицу в Google SpreadSheets. В топвизоре есть возможность экспорта в csv формат — открываем полученный файл и копируем столбцы с доменами в гугл-файл.

В таблице я сделал три колонки: страница, домен и окончание. Список страниц из топвизора вставил в первую колонку. Во вторую с помощью формулы перенёс только домен. Формула получилась такой:

=REGEXEXTRACT(A2,"^(?:https?:\/\/)?(?:www\.)?([^\/]+)")

Её нужно ввести для первой ячейки и потянуть вниз на весь столбец, чтобы действие применилось для всех строчек.

Полученный список доменов желательно почистить на повторы с помощью аддона. Я использовал Remove Duplicates, установка доступна из меню Add-onsGet add-ons. После установки натравливаем его на вторую колонку с доменами, скрипт отмечает цветом дубли, затем остаётся лишь удалить строки с ними.

удаление дублей в google spreadsheets

удаление дублей в google spreadsheets

удаление дублей в google spreadsheets

Массовая проверка доменов

Полученный список — уже неплохой результат. Его можно сохранить и мониторить раз в пару недель пропавшие оттуда домены — причиной исчезновения будут либо фильтры, либо разделегирование домена.

Но если хочется более детальной информации здесь и сейчас, то можно проверить данные по доменам. Для массовой проверки я использовал сервис https://www.bulkseotools.com/bulk-domain-drop-date-checker.php. В него можно загрузить большой список доменов и через пару минут получить даты регистрации и освобождения.

массовая проверка даты регистрации и окончания доменов

Можно сразу отсортировать таблицу результатов по колонке Expires и увидеть ближайшие освобождающиеся домены.

массовая проверка даты регистрации и окончания доменов

Важной особенностью сервиса является возможность экспорта полученных данных в csv-формат. А значит, можно будет удобно скопировать колонку с датой освобожения и вставить её в гугл-документ.

Подсветка освобождающихся доменов

В гугл-документе можно настроить условное оформление ячеек. Я воспользовался этой возможностью, чтобы подсветить домены, освобождаемые в течение месяца. Для этого в контекстном меню нужно выбрать Conditional formatting и указать диапазон ячеек, в моём случае это C2:C175. Затем добавить условие Date is before и указать exact date. Я выставил +месяц, то есть 2018-10-10. Все подходящие ячейки выделить жёлтым. В итоге сразу наглядно и понятно, на какие домены следует обратить внимание в первую очередь.

условная подсветка ячеек в google spreadsheets

Автоматический мониторинг доменов от REG.RU

И в финале — настройка мониторинга доменов. Для этого я выбрал REG.RU. Нужная услуга находится в разделе «Домены» — «Мониторинг доменов». В форму нужно скопировать домены из второго столбца полученной таблицы.

По стоимости получается 4 рубля в месяц за домен. Если заказывать на 3 месяца и более, то активируется скидка и за домен берут 3 рубля.

массовый мониторинг доменов в регру

На этом этапе можно ещё раз пробежаться по списку и выкинуть из него неподходящие домены.

Добавить комментарий для FladeX Отменить ответ

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

  • seoonly.ru
    07.09.2018, 16:29

    Отличная автоматизация-)!

  • Mr_Promoter
    07.09.2018, 22:03

    Спасибо за идею. Сделал несколько иначе чем у тебя. У меня постоянно проверяются топы по ключевым фразам, то есть есть база конкурентов по всему СЯ на 900 000 доменов примерно. И я постоянно вытягиваю с аукционов потенциальных дропов — база примерно на 300 000 доменов. Пересек эти две базы и нашлось сразу 10 000 доменов которые были или есть в топе и начали процесс освобождения. Начал копать дальше и заметил, что большую часть доменов которые уже на подходе к освобождению и у ни есть еще позиции в топе выкупили на аукционе. Причем показатели этих доменов не супер. Я бы не взял. А народ делает активно ставки и борется за них. Может оно того и стоит. Попробую.

  • Алексей
    10.09.2018, 23:48

    Читал читал и оборвалось всё на самом интересном.
    А что потом-то?
    Допиши!
    Мониторить. Если продлили, то что?
    Если не продлили — то что?)

    • FladeX
      11.09.2018, 21:46

      Если не продлили, а ссылочное хорошее — то перехватывать.

  • Pavel
    27.10.2018, 21:19

    А что дальше можно делать с таким доменом?

    • FladeX
      27.10.2018, 22:53

      Регистрировать на себя. Потом либо клеить к основному продвигаемому сайту, либо делать отдельный сайт для последующей линковки или вывода в топ сёрпа.