Бесплатные списки прокси: скрытые затраты, честно измеренные
Бесплатный список прокси рекламирует десятки тысяч IP-адресов в 180 странах. Неудобные цифры за этим заголовком: проверка на живучесть за 15 секунд, пул, который обновляется ежечасно, и реальная успешность, близкая к нулю.
Бесплатный список прокси — одна из самых заманчивых вещей в интернете: десятки тысяч IP-адресов, более 180 стран, обновляемых каждую минуту, доступных для скачивания в формате TXT, JSON или CSV, за ноль долларов. Если бы это работало, никто бы никогда не платил за прокси. Это не работает — не для чего-то важного — и причины измеримы, а не субъективны. Этот пост делает честную арифметику по бесплатным спискам прокси: что на самом деле означает "работает", почему пул сгорает до того, как вы его используете, реальный риск безопасности и где действительно дешевые платные прокси меняют математику.
"Работает" означает, что он ответил на пинг за 15 секунд
Начнем с заголовка. Популярные списки рекламируют свои IP как "проверенные" и "живые", перепроверяемые каждую минуту. Прочитайте мелкий шрифт, и проверка — это попытка подключения с таймаутом в 15 секунд. Это вся планка: прокси принял TCP-соединение в течение пятнадцати секунд. Это ничего не говорит о том, может ли IP загрузить вашу цель, ограничен ли он по скорости, внедряет ли он контент или уже заблокирован всеми поставщиками антиботов. Прокси может быть "живым" в списке и возвращать 403 на первый реальный запрос — эти два факта не связаны. Один известный зеркальный сайт на GitHub открыто сообщает о снимке около 3000 работающих прокси из примерно 115 стран, обновляемых каждые пять минут. Обновление каждые пять минут означает, что пул полностью изменяется через час; IP, которые вы проверили утром, к обеду уже не работают.
Пул сгорает до вашего прихода
Вот структурная проблема, которую не исправит никакое обновление списка: бесплатный прокси является публичным, что означает, что каждый скрейпер, спамер и оператор ботов на земле использует тот же IP, который вы только что скачали. К тому времени, как адрес появляется в публичном списке, тысячи незнакомцев уже использовали его против Google, Amazon, Cloudflare и страниц входа, которые вам важны. Это не свежий IP — это общий, злоупотребляемый, почти наверняка уже ограниченный по скорости или заблокированный на вашей точной цели. Вы не получаете чистую идентичность; вы наследуете сгоревшую. Это противоположно тому, для чего нужен прокси, и именно поэтому успешность против любого защищенного сайта близка к нулю. Наш разбор как сайты обнаруживают прокси объясняет, почему общий, высоко злоупотребляемый IP мгновенно помечается.
import requests
# a typical free-list test: most fail, the survivors are burned
free = ["http://14.239.189.250:8080", "http://103.127.252.57:3128"]
ok = 0
for p in free:
try:
r = requests.get("https://httpbin.org/ip",
proxies={"http": p, "https": p}, timeout=8)
if r.status_code == 200:
ok += 1
except Exception:
pass
print(f"{ok}/{len(free)} reachable # and 'reachable' != 'passes your target'")
Часть, которая должна вас беспокоить: MITM и утечки
Помимо стоимости, бесплатные прокси представляют собой реальную угрозу безопасности, и операторы об этом говорят. Сами поставщики публичных списков предупреждают, что прокси управляются неизвестными добровольцами и "могут быть заражены". Прокси видит весь ваш трафик. HTTP-прокси, управляемый злонамеренной стороной, может читать и изменять все незашифрованное, внедрять скрипты или рекламу на страницы, собирать любые отправленные вами учетные данные и записывать каждый посещенный вами сайт. Даже через HTTPS враждебный выход может попытаться использовать трюки с сертификатами или просто записывать метаданные о том, куда вы подключаетесь. Передача скрейперу — не говоря уже о потоке входа — через сервер случайного незнакомца дает им доступ к вашей сессии. Если работа касается учетных записей, личных данных или чего-то, что вы не опубликовали бы публично, бесплатный прокси дисквалифицируется по причинам конфиденциальности. И прозрачные прокси, которые включены в эти списки, утечивают ваш реальный IP в заголовках пересылки, так что они даже не обеспечивают анонимности.
Скрытый счет: ваше время
Бесплатные прокси не бесплатны; стоимость просто перемещается с вашей карты на ваш календарь. Поскольку пул постоянно обновляется, вы создаете и поддерживаете цикл получения и проверки, повторно тестируете сотни IP перед каждым запуском, повторяете каждый запрос несколько раз, так как мертвые выходы не работают, и отлаживаете фантомные проблемы, которые на самом деле просто прокси, умерший в середине задачи. Пропускная способность не измеряется в худшем смысле — операторы не могут сказать вам, сколько может перенести бесплатный прокси, так что он может остановиться на полпути большого скачивания. Сложите инженерные часы и неудачные запуски, и "бесплатный" вариант часто оказывается дороже платного, что является точным аргументом в нашем посте о почему дешевые прокси стоят дороже в долгосрочной перспективе — и бесплатный вариант — это просто крайний случай дешевого.
Честная альтернатива: действительно дешевые платные прокси
Противовес к "бесплатные списки плохи" не "покупайте самый дорогой премиум-пул". Это заплатить немного за IP, которые ваши, чистые и стабильные. Дешевый план прокси дает вам выходы, которые не разделяются со всем интернетом, проверены для реального использования, а не 15-секундного пинга, с настоящей геолокацией, на которую можно положиться, и переносят зашифрованный трафик, который никто не записывает. Для скрейпинга и автоматизации с ограниченным бюджетом базовые резидентные прокси предоставляют IP реальных устройств по входной цене — та же инфраструктура, которую бесплатные списки притворяются, без истории злоупотреблений или риска утечки. Прежде чем доверять любому пулу, бесплатному или платному, протестируйте образец через наш бесплатный проверщик качества IP, чтобы увидеть, с каким уровнем мошенничества вы на самом деле работаете. Если вы все еще взвешиваете уровни, дешевые vs премиум прокси объясняют, где каждый из них имеет смысл.
Поменяйте бесплатный список на дешевые, чистые прокси
Когда бесплатный прокси подходит
Откровенность работает в обе стороны. Есть ровно одна ситуация, когда бесплатный прокси оправдан: одноразовый, не чувствительный, одноразовый запрос к сайту без защиты от ботов, где вам не важно, если он не сработает, и вы не отправляете ничего личного. Например, проверка, заблокирована ли публичная страница по геолокации. В момент, когда есть вход, учетные данные, личные данные, защищенная цель или работа, которую нужно действительно завершить, бесплатный список перестает быть кратчайшим путем и становится обузой. Выбирайте инструмент для ставок и выбирайте своего поставщика с контрольным списком в как выбрать безопасного, этичного поставщика прокси.
Часто задаваемые вопросы
Безопасны ли бесплатные списки прокси для использования?
Нет, не для чего-то чувствительного. Бесплатные прокси управляются неизвестными добровольцами, и сами поставщики списков предупреждают, что прокси могут быть заражены. Злонамеренный выход может читать и изменять ваш незашифрованный трафик, внедрять контент и собирать учетные данные. Никогда не направляйте входы, личные данные или активность учетной записи через бесплатный прокси.
Почему бесплатные прокси так часто не работают?
Потому что они публичные и используются бесчисленным количеством пользователей, поэтому они уже ограничены по скорости или заблокированы на популярных целях до того, как вы их скачаете. "Живой" в списке означает только, что IP ответил на 15-секундный тест соединения, а не то, что он загрузит вашу цель. Пул также обновляется каждые несколько минут, так что сегодняшние работающие IP к концу часа уже не работают.
Сколько бесплатных прокси действительно работают?
Из десятков тысяч в списке снимок может показать несколько тысяч "работающих" по базовому тесту соединения — но против реальной, защищенной цели эффективная успешность обычно составляет несколько процентов или меньше, потому что эти выжившие общие и сгоревшие. Используемый выход после вашей собственной проверки значительно меньше, чем заявленное количество.
Стоят ли дешевые платные прокси того по сравнению с бесплатными?
Почти всегда. За несколько центов вы получаете IP, которые ваши, а не общие, проверенные для реального использования, стабильные, а не обновляющиеся, с возможностью геолокации и зашифрованные, так что никто не записывает ваш трафик. Как только вы учитываете инженерное время и неудачные запуски, которые стоят бесплатные списки, дешевые платные прокси обычно оказываются более дешевым вариантом в целом.
Бесплатные списки прокси бесплатны так же, как найденная флешка бесплатна: цена оплачивается позже, в неудачных задачах, потраченных часах и риске того, что работает на другом конце. Сделайте честную математику, и дешевый, чистый пул выигрывает по стоимости и безопасности одновременно.