Web Unlocker против Residential Proxy против Mobile Proxy: когда что использовать

Мы получили те же URL с сервера центра обработки данных, через простой резидентный прокси и через веб-разблокировщик. Некоторым сайтам ничего не требовалось, некоторым нужен был только резидентный IP, а некоторые открывались только для разблокировщика. Вот что исправляет каждый уровень и где подходит мобильный уровень.

Residential proxy изменяет, откуда приходит ваш запрос. Web unlocker также изменяет, как выглядит запрос: он отправляет его с реальным TLS отпечатком браузера, повторяет попытки с новыми IP и запускает безголовый браузер, когда появляется JavaScript challenge. Вам нужен unlocker только тогда, когда чистый residential IP все еще блокируется. В противном случае достаточно proxy.

Это теория. Чтобы проверить её, мы извлекли одни и те же URL тремя способами 29 сентября 2026 года и сохранили результаты по сайтам. Некоторые страницы не требовали ничего, некоторые нуждались только в резидентском IP, а некоторые открывались только для разблокировщика. Таблицы ниже показывают, что к чему.

• Прокси не нужен: docs.python.org, books.toscrape.com, Hacker News, Wikipedia и GitHub ответили на обычный запрос с сервера в дата-центре.
• Residential proxy был достаточен: Zillow и Leboncoin заблокировали сервер в дата-центре, но предоставили реальную страницу через обычный residential proxy.
• Только unlocker прошел: Indeed, Glassdoor, Walmart и Best Buy отказали обоим обычным клиентам и вернули страницу через unlocker.

Как мы тестировали

Каждый URL был извлечен тремя способами 29 сентября 2026 года. Сначала, обычный curl с сервера в дата-центре во Франкфурте с User-Agent Chrome. Во-вторых, тот же обычный curl через residential proxy QuantumProxies.io с выходом в США (французский выход для Leboncoin). В-третьих, через forward proxy Web Unlocker на residential уровне, с той же страной выхода. Статус — это конечный HTTP статус, который увидел клиент. Время — это время на часах для одного запроса unlocker.

Что исправляет каждый уровень

Современная стена против ботов проверяет несколько вещей, прежде чем отправить страницу, и каждый инструмент исправляет различный набор. Знание того, с какой стеной вы сталкиваетесь, подскажет, что покупать.

Первая строка — это то, с чего начинают большинство скрейперов и где резидентный прокси оправдывает свою цену. Хостинговые диапазоны легко распознать, и многие сайты сразу их блокируют. Вторая строка объясняет, почему чистого IP иногда недостаточно: TLS рукопожатие curl, Python или Node совсем не похоже на Chrome, и Cloudflare документирует отпечатки JA3/JA4 как способ идентификации клиентов именно по этому признаку. Наше руководство по TLS отпечаткам подробно это освещает. Третья строка требует настоящего JavaScript-движка.

Сайты, которым не нужен был прокси

Начните здесь, потому что это самый дешевый результат. Эти страницы ответили на обычный запрос с сервера в дата-центре. Отправка их через что-либо еще стоит денег и увеличивает задержку без какой-либо выгоды.

BBC 302 — это редирект, а не блокировка. Наш тестовый клиент не следовал за редиректами, и любой клиент, который это делает, попадает на страницу.

Где обычного residential proxy было достаточно

Zillow и Leboncoin — это случай, для которого был создан residential proxy. IP дата-центра был отклонен, и тот же запрос с домашнего IP получил страницу. Unlocker также сработал, но он не добавил ничего, что вам было нужно.

Amazon — это предостережение. Оба обычных клиента получили страницу продукта в этом запуске, но unlocker потребовалось две попытки и браузер, прежде чем он вернулся, и это заняло 10.2 секунды. Unlocker учитывает каждый байт, который он перемещает, включая повторные попытки и загрузки браузера. На странице, которая в этом не нуждалась, вы платите за эту дополнительную работу. Это один запрос в один день, поэтому не воспринимайте это как правило для Amazon. Воспринимайте это как правило о тестировании обычного сначала.

Где только web unlocker прошел

Здесь одного только домашнего IP-адреса было недостаточно. Walmart, Best Buy и Indeed вернули настоящую страницу при первой попытке TLS разблокировщика, без браузера. Тем не менее, обычный домашний столбец уже имел чистый домашний IP и не сработал, и очевидное оставшееся различие заключается в том, как выглядел запрос. Glassdoor пошел дальше: он требовал JavaScript, поэтому разблокировщику понадобилось две попытки TLS, а затем безголовый браузер, из-за чего это заняло 17,2 секунды.

Walmart нуждается в своем собственном предостережении. Мы не записали, куда указывал его 307 редирект. Мы только знаем, что ни один из обычных клиентов не получил страницу с результатами, а unlocker получил.

Используйте Web Unlocker на residential выходах

Где подходит мобильный уровень

Мобильные операторы размещают множество телефонов за каждым публичным IP (carrier-grade NAT), поэтому сайт, который блокирует адрес оператора, рискует заблокировать реальных клиентов. Именно поэтому IP оператора, как правило, вызывают больше доверия, чем residential диапазоны. Мы объясняем механизм в почему мобильные прокси доверяют: CGNAT.

Web Unlocker имеет мобильный уровень, который выполняет ту же логику (отпечатки браузера, повторные попытки, эскалация браузера, отчет о блокировке) на выходах 4G/5G операторов. Вы выбираете его с помощью -tier-mobile в имени пользователя прокси или "tier": "mobile" на REST конечной точке. У него есть собственный предоплаченный баланс ГБ. Он предназначен для сайтов, которые также отказываются от резидентных диапазонов, что именно и предполагает блок access_denied на резидентном уровне.

Лестница эскалации, учитывающая затраты, на Python

Таблицы указывают на одно правило: поднимайтесь только настолько, насколько вас заставляет сайт. Эта функция пробует каждую ступеньку по порядку и останавливается на первой, которая возвращает реальную страницу. Она переходит на мобильный уровень только тогда, когда residential уровень сообщает о блокировке access_denied. HEADERS и looks_blocked() — это помощники из нашего учебника по API web unlocker на Python.

import os
import requests
import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

RESIDENTIAL = os.environ["QP_RESIDENTIAL_PROXY"]   # http://USER:PASS@HOST:PORT from your residential plan
UNLOCK_USER = os.environ["QP_UNLOCK_USER"]         # unlock-XXXXXXXX
UNLOCK_PASS = os.environ["QP_UNLOCK_PASSWORD"]


def unlocker(extra: str = "") -> dict:
    u = f"http://{UNLOCK_USER}-country-us{extra}:{UNLOCK_PASS}@unlock.quantumproxies.io:9000"
    return {"http": u, "https": u}


LADDER = [
    # name,              proxies,                                      verify, timeout
    ("plain",            {},                                           True,   30),
    ("residential",      {"http": RESIDENTIAL, "https": RESIDENTIAL},  True,   30),
    ("unlocker",         unlocker(),                                   False, 120),
    ("unlocker-mobile",  unlocker("-tier-mobile"),                     False, 120),
]


def climb(url: str):
    last = None
    for name, proxies, verify, timeout in LADDER:
        try:
            r = requests.get(url, headers=HEADERS, proxies=proxies, verify=verify, timeout=timeout)
        except requests.RequestException:
            continue                        # no response at all counts as a block
        last = r
        if not name.startswith("unlocker"):
            if not looks_blocked(r):
                return name, r
            continue
        if "x-qp-unlocker-blocked" not in r.headers:
            return name, r
        if r.headers.get("x-qp-block-class") != "access_denied":
            break                           # a different IP will not fix this wall
    return "blocked", last

В производстве запоминайте ступеньку на домен, как только вы ее узнаете, чтобы не платить за неудачные ступеньки при каждом запросе. Unlocker также может отправить заголовок x-qp-hint с предложением, которое стоит записать рядом с классом блокировки.

Как принять решение, в пять вопросов

1. Возвращает ли обычный запрос с вашего сервера реальную страницу? Тогда вам не нужен ни один из них. Остановитесь здесь.
2. Не удается ли это с IP дата-центра, но работает с residential? Купите residential proxies и оставьте своего клиента.
3. Все еще не удается с чистым residential IP, с 403, 'Just a moment' или 'Enable JavaScript' страницей, или разорванным соединением? Это работа unlocker.
4. Сообщает ли unlocker о access_denied на residential выходах? Протестируйте мобильный уровень на этом сайте, прежде чем покупать объем.

Часто задаваемые вопросы

Должен ли я купить residential proxies или использовать web unlocker?

Сначала протестируйте свои цели. Если обычный запрос с residential IP возвращает реальную страницу, как это сделали Zillow и Leboncoin в нашем тесте 29 сентября 2026 года, residential proxies достаточно и дешевле в использовании. Если чистый residential IP все еще получает 403 или JavaScript challenge, как это сделали Indeed и Glassdoor, вам нужен unlocker.

Нужны ли мне residential proxies, или подойдет любой прокси?

Это зависит от сайта. Wikipedia, GitHub и Hacker News ответили на обычный запрос с дата-центра в нашем тесте, поэтому прокси не требовался. Zillow и Leboncoin отказали IP дата-центра и приняли residential. Прокси дата-центра имеют ту же проблему, потому что диапазоны хостинга легко распознаются и отказываются сайтами.

Являются ли мобильные прокси более надежными, чем residential для веб-скрейпинга?

IP-адреса операторов используются многими телефонами через CGNAT, поэтому сайты менее склонны их блокировать, и это помогает против блокировок IP-репутации. Они не изменяют ваш TLS отпечаток и не решают JavaScript вызовы сами по себе.

Уменьшают ли мобильные прокси количество капч?

Они могут уменьшить количество капч, вызываемых IP-репутацией, потому что адрес оператора выглядит как у многих обычных пользователей телефонов.

Как web unlocker тарифицируется по сравнению с residential proxy?

Оба тарифицируются за ГБ. Unlocker учитывает каждый байт, который он перемещает от вашего имени, включая повторные попытки, заблокированные страницы и загрузку страницы браузера, и использует собственный предоплаченный баланс на уровень: residential выходы и выходы мобильного оператора. Текущая цена за ГБ отображается на панели управления.

Резидентные прокси исправляют, откуда исходит запрос. Веб-разблокировщик также исправляет, как он выглядит и может ли он выполнять JavaScript. Мобильный уровень снова меняет IP для сайтов, которые отказываются от резидентных диапазонов. Покупайте самый низкий уровень, который принимают ваши цели, и пусть класс блокировки подскажет вам, когда подниматься.

Сравните уровни Web Unlocker

Цели, которые отказываются от residential диапазонов? Смотрите Web Unlocker на мобильных выходах.