Отслеживание конкурентов для перехвата доменов

Это не совсем в продолжении темы сетки PBN на дропах, но при желании можно переложить этот подход и туда. В рассматриваемом случае у меня была другая задача — в коммерческой тематике найти сайты конкурентов, которые будут дропнуты. Это нужно для перехвата домена и разворачивания на нём полноценного сайта для продвижения в поиске и сбора заявок. То есть для построения сети сайтов с целью захвата выдачи. По этим же причинам все домены на скриншотах будут замазаны — смысловая нагрузка от этого не пострадает.

Алгоритм я подготовил сам, сразу постарался его автоматизировать и ускорить, насколько это было возможно.

Сбор базы конкурентов

Для начала нужно подготовить список адресов сайтов-конкурентов. Для этого берём самый жирный запрос (или несколько таких) и парсим выдачу яндекса и гугла. Можно это делать вручную, я же воспользовался сервисом «снимок выдачи» в топвизоре.

В итоге получается список как на скриншоте.

сервис «снимок выдачи» от топвизор

Чистка списка

Далее этот список целевых страниц нужно почистить. Во-первых, нужно убрать дубли — некоторые сайты выводятся дважды разными страницами. Во-вторых, убрать нецелевые домены, типа авито и вк. И напоследок отформатировать весь список, оставив только доменные имена.

Для этой задачи я использовал таблицу в Google SpreadSheets. В топвизоре есть возможность экспорта в csv формат — открываем полученный файл и копируем столбцы с доменами в гугл-файл.

В таблице я сделал три колонки: страница, домен и окончание. Список страниц из топвизора вставил в первую колонку. Во вторую с помощью формулы перенёс только домен. Формула получилась такой:

=REGEXEXTRACT(A2,"^(?:https?:\/\/)?(?:www\.)?([^\/]+)")

Её нужно ввести для первой ячейки и потянуть вниз на весь столбец, чтобы действие применилось для всех строчек.

Полученный список доменов желательно почистить на повторы с помощью аддона. Я использовал Remove Duplicates, установка доступна из меню Add-onsGet add-ons. После установки натравливаем его на вторую колонку с доменами, скрипт отмечает цветом дубли, затем остаётся лишь удалить строки с ними.

удаление дублей в google spreadsheets

удаление дублей в google spreadsheets

удаление дублей в google spreadsheets

Массовая проверка доменов

Полученный список — уже неплохой результат. Его можно сохранить и мониторить раз в пару недель пропавшие оттуда домены — причиной исчезновения будут либо фильтры, либо разделегирование домена.

Но если хочется более детальной информации здесь и сейчас, то можно проверить данные по доменам. Для массовой проверки я использовал сервис https://www.bulkseotools.com/bulk-domain-drop-date-checker.php. В него можно загрузить большой список доменов и через пару минут получить даты регистрации и освобождения.

массовая проверка даты регистрации и окончания доменов

Можно сразу отсортировать таблицу результатов по колонке Expires и увидеть ближайшие освобождающиеся домены.

массовая проверка даты регистрации и окончания доменов

Важной особенностью сервиса является возможность экспорта полученных данных в csv-формат. А значит, можно будет удобно скопировать колонку с датой освобожения и вставить её в гугл-документ.

Подсветка освобождающихся доменов

В гугл-документе можно настроить условное оформление ячеек. Я воспользовался этой возможностью, чтобы подсветить домены, освобождаемые в течение месяца. Для этого в контекстном меню нужно выбрать Conditional formatting и указать диапазон ячеек, в моём случае это C2:C175. Затем добавить условие Date is before и указать exact date. Я выставил +месяц, то есть 2018-10-10. Все подходящие ячейки выделить жёлтым. В итоге сразу наглядно и понятно, на какие домены следует обратить внимание в первую очередь.

условная подсветка ячеек в google spreadsheets

Автоматический мониторинг доменов от REG.RU

И в финале — настройка мониторинга доменов. Для этого я выбрал REG.RU. Нужная услуга находится в разделе «Домены» — «Мониторинг доменов». В форму нужно скопировать домены из второго столбца полученной таблицы.

По стоимости получается 4 рубля в месяц за домен. Если заказывать на 3 месяца и более, то активируется скидка и за домен берут 3 рубля.

массовый мониторинг доменов в регру

На этом этапе можно ещё раз пробежаться по списку и выкинуть из него неподходящие домены.

Отслеживание конкурентов для перехвата доменов: 6 комментариев

  1. Спасибо за идею. Сделал несколько иначе чем у тебя. У меня постоянно проверяются топы по ключевым фразам, то есть есть база конкурентов по всему СЯ на 900 000 доменов примерно. И я постоянно вытягиваю с аукционов потенциальных дропов — база примерно на 300 000 доменов. Пересек эти две базы и нашлось сразу 10 000 доменов которые были или есть в топе и начали процесс освобождения. Начал копать дальше и заметил, что большую часть доменов которые уже на подходе к освобождению и у ни есть еще позиции в топе выкупили на аукционе. Причем показатели этих доменов не супер. Я бы не взял. А народ делает активно ставки и борется за них. Может оно того и стоит. Попробую.

  2. Читал читал и оборвалось всё на самом интересном.
    А что потом-то?
    Допиши!
    Мониторить. Если продлили, то что?
    Если не продлили — то что?)

    1. Регистрировать на себя. Потом либо клеить к основному продвигаемому сайту, либо делать отдельный сайт для последующей линковки или вывода в топ сёрпа.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.