Come i siti web rilevano i proxy: ogni segnale e come superarli

Il rilevamento dei proxy non è un unico controllo, ma una serie di essi - e la maggior parte delle configurazioni 'indetectabili' fallisce prima sui segnali più banali. Ecco ogni segnale che un sito utilizza per individuare un proxy e la contromisura per ciascuno.

I siti non rilevano i proxy con un unico trucco ingegnoso. Eseguono una serie di controlli indipendenti e una connessione deve superarli tutti - quindi le configurazioni che le persone chiamano "indetectabili" di solito falliscono prima sui segnali più banali: un'intestazione trapelata, un IP del datacenter, un'impronta digitale TLS che non corrisponde al browser che afferma di essere. Comprendere come i siti web rilevano i proxy strato per strato è l'unico modo per capire quali supererai effettivamente. Ecco l'intera serie di segnali e la contromisura per ciascuno.

Segnale 1: l'indirizzo IP e il suo ASN

Il primo e più economico controllo è cercare l'IP in un database. Servizi commerciali - MaxMind, spur.us, IP2Proxy, IPHub, proxycheck.io - classificano gli indirizzi in base al loro Autonomous System Number (ASN), il blocco a cui appartiene un IP. Gli ASN dei datacenter e degli hosting sono facilmente segnalati, motivo per cui un IP di un server cloud viene bloccato prima che qualsiasi altro controllo venga eseguito. Gli IP residenziali e mobili appartengono agli ASN degli ISP consumer, quindi superano questo controllo per impostazione predefinita. Questo singolo segnale è il motivo per cui i proxy residenziali hanno successo dove gli IP dei datacenter sono bloccati all'arrivo - l'ASN dice "banda larga domestica", non "AWS". Il reverse DNS è un controllo correlato: un record PTR che punta a un provider di hosting è un altro indizio.

Segnale 2: intestazioni HTTP che annunciano un proxy

I proxy configurati male perdono dati. Intestazioni come Via, X-Forwarded-For, Forwarded e Proxy-Connection esistono letteralmente per dichiarare che il traffico è passato attraverso un intermediario, e un proxy trasparente che le inoltra consegna al sito una confessione. Anche l'ordine e la coerenza delle intestazioni sono importanti: una richiesta che afferma di essere Chrome ma invia intestazioni in un ordine non-Chrome è una discrepanza di impronte digitali. La soluzione è un proxy che non inietta intestazioni di inoltro e un client che invia un set di intestazioni coerente con il browser che sta impersonando.

Segnale 3: TLS e l'impronta digitale JA3

Prima che venga inviato qualsiasi HTTP, la stretta di mano TLS espone un'impronta digitale (JA3/JA4) costruita dai suite di cifratura e dalle estensioni esatte offerte dal tuo client. Una libreria HTTP Python o Go produce una stretta di mano che non assomiglia affatto a quella di Chrome - quindi una richiesta con un user-agent Chrome ma un'impronta digitale TLS Python è immediatamente incoerente, e nessun proxy può risolverlo, perché avviene al di sotto del livello del proxy. Questo è il motivo per cui gli IP puliti vengono ancora bloccati: l'IP è passato, il TLS no. Il nostro approfondimento su impronte digitali TLS JA3/JA4 copre le librerie di impersonificazione che fanno sì che la stretta di mano di un client corrisponda a quella di un vero browser.

Segnale 4: perdite DNS e WebRTC

Anche con un IP perfetto, la tua posizione reale può trapelare lateralmente. Se il DNS si risolve sulla tua macchina invece che attraverso il proxy, la posizione del resolver ti tradisce - ed è esattamente per questo che gli utenti SOCKS5 dovrebbero usare lo schema socks5h in modo che il DNS passi attraverso il tunnel. In un vero browser, WebRTC è peggio: può rivelare l'IP locale e pubblico reale direttamente a una pagina tramite un'API multimediale, superando il proxy. Le configurazioni anti-rilevamento disabilitano WebRTC o lo instradano attraverso il proxy per questo motivo. Entrambi sono perdite "canali laterali" - il proxy va bene, ma qualcosa intorno ad esso non lo è.

Segnale 5: latenza, coerenza geografica e comportamentale

I controlli più sottili cercano cose che non tornano. Un proxy inserisce un ulteriore passaggio di rete, e le tecniche di ricerca (l'analisi della latenza in stile accademico "BadPass") confrontano i tempi di andata e ritorno per individuare la firma a due passaggi - anche se questo degrada contro le uscite residenziali a bassa latenza e gli IP mobili. La coerenza della geolocalizzazione conta di più nella pratica: se l'IP dice Germania ma il fuso orario del browser, le intestazioni della lingua e la localizzazione dicono New York, quella discrepanza è un forte segnale. Gli IP mobili sono i più difficili da bloccare, perché il NAT a livello di operatore significa che un indirizzo è condiviso da migliaia di utenti reali contemporaneamente - bloccarlo significherebbe escludere clienti genuini. Questa è la logica dietro perché i proxy mobili sono affidabili.

Controlla gratuitamente il punteggio di frode e i flag proxy di qualsiasi IP

Mettere tutto insieme: la coerenza batte qualsiasi trucco singolo

Il filo conduttore è la coerenza. Il rilevamento non è un unico muro; è un insieme di osservazioni indipendenti che o concordano o no. Un IP residenziale con intestazioni proxy trapelate fallisce ancora. Un IP pulito con un'impronta digitale TLS Python fallisce ancora. La configurazione vincente è noiosamente coerente da cima a fondo: un IP assegnato dall'ISP, nessuna intestazione di inoltro, una stretta di mano TLS che corrisponde al browser, DNS e WebRTC instradati attraverso il tunnel, e un insieme di geolocalizzazione/fuso orario/lingua che punta tutto allo stesso posto. Prima di eseguire uno scraping su un obiettivo difficile, testa la tua uscita contro un checker in modo da sapere quali segnali stai perdendo. Il nostro confronto tra reputazione IP e impronte digitali del dispositivo copre quale livello correggere per primo.

Vale anche la pena sapere che il rilevamento raramente è un sì o un no netto. La maggior parte dei sistemi assegna un punteggio di rischio e agisce su soglie: un segnale leggermente sospetto potrebbe solo aggiungere attrito - un CAPTCHA, una versione più leggera della pagina - mentre una serie di bandiere rosse ottiene un blocco totale. Ecco perché inseguire un singolo trucco "indetectabile" è il modello mentale sbagliato. Ogni perdita che chiudi abbassa il punteggio, e sotto la soglia il sito ti tratta come qualsiasi altro visitatore. Correggi prima i segnali più grandi (tipo di IP, poi intestazioni e TLS), ri-testa, e di solito scoprirai di essere passato senza mai aver bisogno delle contromisure esotiche su cui le persone si ossessionano.

Domande frequenti

Come fanno i siti web a rilevare i proxy?

Eseguono una serie di controlli: cercano l'IP in un database proxy tramite il suo ASN, ispezionano le intestazioni HTTP per rilevare segni di inoltro, rilevano l'impronta digitale della stretta di mano TLS, controllano le perdite DNS e WebRTC, e testano la coerenza geografica e di latenza. Una connessione deve superare tutti questi controlli. La maggior parte delle configurazioni fallisce nel controllo IP o intestazioni prima che quelli più sottili abbiano importanza.

I proxy residenziali possono essere rilevati?

I proxy residenziali superano il controllo ASN che elimina gli IP dei datacenter, ma non sono automaticamente invisibili. Se il tuo client perde intestazioni di inoltro, invia un'impronta digitale TLS non da browser, o espone il suo vero IP tramite DNS o WebRTC, un sito può ancora segnalare la sessione. Gli IP residenziali rimuovono il segnale più grande; la coerenza su tutto il resto è ciò che ti mantiene pulito.

Come posso testare se il mio proxy è rilevabile?

Esegui l'IP di uscita attraverso un punteggio di frode o un checker proxy - riporta la classificazione ASN, se l'IP è su liste di proxy conosciute, e la sua reputazione. Il nostro checker IP gratuito mostra il punteggio di frode e i flag proxy che un sito target vedrebbe, così puoi individuare un IP bruciato prima che bruci la tua esecuzione.

Perché gli IP puliti vengono ancora bloccati?

Perché l'IP è solo un segnale. Un IP residenziale fresco abbinato a un'impronta digitale TLS Python o Go, intestazioni trapelate, o una discrepanza di geolocalizzazione/fuso orario è incoerente, e il sito blocca sulla contraddizione, non sull'indirizzo. Correggere il rilevamento significa allineare ogni livello - IP, intestazioni, TLS e perdite - non solo procurarsi un IP migliore.

Il rilevamento dei proxy premia la coerenza e punisce la contraddizione. Inizia con un IP residenziale o mobile per superare il controllo del database, poi assicurati che nulla intorno ad esso sia in disaccordo - intestazioni, TLS, DNS, WebRTC e geo raccontano tutti la stessa storia. Testa prima di scalare, e saprai esattamente quale segnale correggere invece di indovinare.

Ottieni IP residenziali che superano la serie di rilevamento