Исследование просроченных доменов в масштабе: проверки, обратные ссылки и прокси

Хорошие просроченные домены скрыты среди миллионов дропов, и каждый шаг проверки упирается в ограничение по скорости. Вот исследовательский конвейер — доступность, архивы, обратные ссылки, проверки на штрафы — выполненный без замедлений.

Просроченные домены — один из последних настоящих коротких путей в SEO: имя, которое предыдущий владелец оставил, может нести годы обратных ссылок, возраст и доверие поисковых систем, которые новая регистрация просто не может сравниться. Проблема в масштабе. Тысячи доменов падают каждый день по сотням TLD — агрегаторы индексируют более 20 миллионов просроченных, аукционных и ожидающих удаления списков по 676 расширениям — и хорошие из них скрыты под огромной кучей бесполезного и откровенно токсичного мусора. Их отделение — это исследовательская задача, и каждый шаг проверки — доступность, история архива, здоровье обратных ссылок, статус штрафов — сталкивается с ограничением по скорости, как только вы делаете это в объеме. Это руководство описывает конвейер и настройку прокси, которая поддерживает его работу.

Соломенная куча и воронка

Рабочий процесс — это воронка: залейте миллионы кандидатов на дроп, и пропустите их через постепенно более строгие, более дорогие проверки, пока не останется короткий список. Дешевые фильтры запускаются сначала на всем; дорогая проверка запускается только на том, что их прошло. Источник кандидатов — это легкая часть — списки дропов и фиды ожидающих удаления общедоступны, и один популярный TLD, как .com, регулярно имеет более миллиона доменов в ожидании удаления одновременно. Работа — это все после: подтверждение, что домен действительно доступен, что он размещал реальный сайт, а не спам-ферму, что его обратные ссылки активны и релевантны, и — проверка, которую большинство людей пропускает — что он не был наказан до основания.

Полезно знать, почему вы так тщательно фильтруете. Покупатели хотят старые домены для нескольких конкретных действий: 301 редирект, который передает существующий авторитет на сайт для заработка, брендируемое имя для стартапа, нишевый сайт, восстановленный на унаследованном доверии, или генерация лидов. Каждое из этих действий работает только в том случае, если унаследованный авторитет реален и не наказан — сожженный домен не только не помогает, он может потянуть вниз все, на что вы его укажете. Вот почему этапы проверки ниже важнее, чем размер списка, с которого вы начинаете. Объем бесполезен без доверия, и доверие — это то, что производит воронка.

Проверки доступности без замедлений

Проверка того, регистрируемы ли тысячи доменов, означает обращение к RDAP или WHOIS конечным точкам, и реестры агрессивно ограничивают скорость по IP — запустите большую партию с одного адреса, и вас замедлят в течение нескольких минут. Это классический случай для датацентровых прокси: RDAP — это снисходительная, машинно-дружественная конечная точка, где вам нужна скорость и объем по самой низкой стоимости за запрос, а не скрытность резидентных IP. Переключайтесь между пулом датацентров и замедление исчезает:

import requests

proxies = {"https": "http://USER:PASS@dc.quantumproxies.io:PORT"}

def is_available(domain):
    # RDAP returns 404 when a domain has no active registration.
    r = requests.get(f"https://rdap.org/domain/{domain}",
                     proxies=proxies, timeout=15)
    return r.status_code == 404

Почему здесь датацентровые, а не резидентные? Потому что цель дружелюбная, и приоритет — пропускная способность и цена. Этот компромисс — снисходительная конечная точка плюс высокий объем равняется датацентру — это точная структура принятия решений в случае для датацентровых прокси.

Воронка исследования просроченных доменов: источник дропов по 676 TLD, проверка доступности через RDAP, проверка авторитета с помощью Wayback и обратных ссылок, затем проверка на штрафы — Миллионы дропов входят, горстка проверенных доменов выходит. Каждый этап — это ограничение по скорости для одного IP, поэтому нагрузка должна распределяться по пулу.

Проверка, что авторитет реален, а не раздут

Оценка авторитета домена — это отправная точка, а не приговор — оценки могут быть раздуты спам-ссылками, и покупка только по количеству — это как люди в итоге получают имя с токсичным профилем. Две проверки на основе архивов отделяют реальную историю от мусора. Во-первых, извлеките индекс снимков Wayback Machine, чтобы увидеть, что действительно находилось на домене; связный, тематический сайт на протяжении многих лет обещает, в то время как разрыв, за которым следует спам на иностранном языке, — это жесткий отказ:

def wayback_snapshots(domain):
    url = ("http://web.archive.org/cdx/search/cdx"
           f"?url={domain}&output=json&limit=200&collapse=timestamp:6")
    rows = requests.get(url, proxies=proxies, timeout=20).json()
    return max(len(rows) - 1, 0)  # snapshot count (minus the header row)

Во-вторых, проверьте, что обратные ссылки все еще активны и релевантны. Историческое количество ссылок домена ничего не значит, если эти страницы с тех пор удалили ссылки или превратились в спам. Извлечение сотен ссылающихся страниц для подтверждения каждой ссылки — это именно тот вид массового сбора, который вызывает блокировки, поэтому он также проходит через пул прокси — та же техника, которую мы используем в анализе конкурентных обратных ссылок. Приоритизируйте ссылающиеся домены, которые реальны, тематичны и все еще ссылаются, и отбрасывайте все, чьи якоря — фармацевтика, азартные игры или заполнители на иностранном языке.

Проверка на штрафы, которую почти все пропускают

Домен может выглядеть идеально по всем метрикам и все же быть бесполезным, потому что Google его деиндексировал. Самый быстрый признак — это тест индексации: запросите домен и посмотрите, знает ли Google, что он существует. Чистый старый домен возвращает свои собственные страницы; сожженный — ничего не возвращает. Запустите это через SERP API, чтобы получить чистый, разобранный результат без борьбы с защитой от ботов Google:

curl -G "https://api.quantumproxies.io/serp" \
  --data-urlencode "q=site:candidate-domain.com" \
  --data-urlencode "gl=us" \
  -H "Authorization: Bearer YOUR_API_KEY"
# Zero organic results for a domain that once had a site = likely deindexed. Skip it.

Выполнение этого в масштабе по короткому списку — это причина, почему SERP API имеет значение — запуск сотен site: запросов с вашего собственного IP быстро приводит к блокировке, по причинам, которые мы разбираем в как работает скрейпинг SERP в 2026 году. Объедините тест индексации с проверками Wayback и обратных ссылок, и у вас будет повторяемая оценка, которой вы можете доверять больше, чем любой отдельной сторонней метрике.

Контрольный список, противопоставляющий просроченные домены, которые стоит преследовать, с живыми обратными ссылками и чистой историей, против красных флагов, таких как деиндексация, спам-история Wayback и токсичные якоря — Высокий авторитетный рейтинг ничего не значит, пока вы его не проверите: живые тематические обратные ссылки и чистая история стоят того, чтобы за ними гнаться; деиндексация и спам-якоря — это мгновенный отказ.

Часто задаваемые вопросы

Как я могу найти хорошие просроченные домены в масштабе?

Начните с общедоступных списков ожидающих удаления и дропов, затем запустите воронку автоматизированных проверок: доступность через RDAP, история архива через Wayback Machine, здоровье обратных ссылок, извлекая ссылающиеся страницы, и тест индексации, чтобы поймать наказанные домены. Дешевые проверки запускаются на всем, а дорогая проверка — только на выживших. Узкое место — это ограничения по скорости, поэтому проверки проходят через вращающийся пул прокси.

Почему мне нужны прокси для исследования просроченных доменов?

Каждый шаг проверки сталкивается с конечной точкой, которая ограничивает скорость по IP — реестры RDAP и WHOIS, Wayback Machine, ссылающиеся сайты и поисковые системы. Запустите любой из них в объеме с одного адреса, и вас замедлят или заблокируют в течение нескольких минут. Переключение между пулом прокси распределяет нагрузку, так что партия из тысяч доменов завершается без стен. Датацентровые прокси подходят для снисходительных конечных точек; SERP API обрабатывает поисковые проверки.

Всегда ли стоит покупать просроченные домены с высоким авторитетом?

Нет. Оценки авторитета могут быть раздуты спам-обратными ссылками, и высокое число часто скрывает токсичный или деиндексированный домен. Всегда проверяйте: проверьте историю Wayback на наличие реального сайта, а не спам-фермы, подтвердите, что обратные ссылки все еще активны и тематичны, и выполните тест индексации, чтобы убедиться, что домен не был наказан. Проверенный домен с умеренным авторитетом лучше, чем непроверенный с высоким авторитетом.

Какие прокси лучше всего подходят для проверки доступности домена?

Датацентровые прокси. Конечные точки доступности, такие как RDAP, дружелюбны к автоматизации и не требуют доверия резидентных IP, поэтому приоритеты — скорость, объем и низкая стоимость за запрос — именно то, что предоставляют датацентровые прокси. Оставьте резидентные IP для целей с сильной защитой от ботов, и используйте SERP API специально для проверок штрафов поисковых систем, где Google блокирует чистую автоматизацию.

Охота за просроченными доменами вознаграждает того, кто может проверить быстрее, потому что лучшие имена исчезают в дропе. Постройте воронку один раз — доступность, архивы, обратные ссылки, проверка на штрафы — распределите каждый шаг по пулу прокси, и вы сможете отсеять миллионы дропов до короткого списка, которому вы действительно доверяете, в то время как все остальные все еще гадают по одной метрике.

Запускайте проверки доступности в масштабе на датацентровых прокси