Melhores User Agents para Web Scraping em 2026: Por que a Coerência Vence
Não existe uma string mágica de user-agent. Em 2026, a detecção valida toda a sua identidade - UA, Client Hints, TLS e IP juntos. Um Chrome coerente supera uma lista de mil UAs aleatórios.
Pesquise "melhor user agent para web scraping" e você encontrará listas de mil strings para rodar. Esse conselho está uma década desatualizado. Em 2026, o fato mais importante sobre user agents é que eles não são mais avaliados isoladamente - sistemas de detecção cruzam seu User-Agent com seus Client Hints, seu handshake TLS e seu IP, e qualquer discrepância te sinaliza mais rápido do que um header simples e honesto faria. O melhor user agent não é uma string inteligente; é uma identidade de navegador atual e real onde cada camada concorda. Aqui está como construir isso, além das strings para usar e as que te bloqueiam à primeira vista.
O que um user agent está (e não está) fazendo
O header User-Agent é uma linha de texto em cada requisição HTTP que nomeia o navegador, sua versão e o sistema operacional. Uma string típica do Chrome parece Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/144.0.0.0 Safari/537.36. Os sites leem isso para servir o layout correto - e para identificar bots. Uma requisição anunciando python-requests/2.28.1 ou curl/7.68.0 é um bot usando um crachá; ganha bloqueios instantâneos, respostas vazias ou redirecionamentos CAPTCHA. Mas trocar por uma string de navegador real é apenas o primeiro passo, porque o UA agora é o sinal menos confiável de vários.
Client Hints mudou tudo
O Chrome moderno tem reduzido o que coloca no User-Agent (redução de UA) e movido os detalhes para um conjunto de headers chamados Client Hints: Sec-CH-UA, Sec-CH-UA-Mobile e Sec-CH-UA-Platform. Este é o ponto crucial para scrapers. A detecção agora verifica se seu UA e seus Client Hints contam a mesma história. Afirmar ser o Chrome 144 no Windows no UA enquanto seus hints dizem Safari móvel, e você é bloqueado instantaneamente - uma discrepância é um sinal mais alto do que um header ausente. Então, o trabalho não é rodar UAs; é enviar um conjunto de headers completo e internamente consistente:
import requests
# One current Chrome identity - UA, Client Hints and Accept all agree
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/144.0.0.0 Safari/537.36",
"Sec-CH-UA": '"Chromium";v="144", "Google Chrome";v="144", "Not?A_Brand";v="24"',
"Sec-CH-UA-Mobile": "?0",
"Sec-CH-UA-Platform": '"Windows"',
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "en-US,en;q=0.9",
}
r = requests.get("https://httpbin.org/headers", headers=headers, timeout=15)
print(r.json()["headers"]["User-Agent"]) # confirm the server saw what you sent
Os user agents que valem a pena usar em 2026
Porque o Chrome detém cerca de 65% do mercado de navegadores, strings atuais do Chrome se misturam melhor - são o padrão mais seguro. Mantenha um conjunto pequeno e atualizado em vez de um gigante e obsoleto:
- Chrome (Windows/macOS/Linux): a opção de maior mistura; combine o token da plataforma com o SO que você está alegando.
- Firefox: diversidade útil quando um site parece estar sinalizando muito tráfego do Chrome.
- Safari (macOS/iOS): valioso para audiências pesadas em Apple e e-commerce.
- Mobile Chrome / Safari: para conteúdo otimizado para dispositivos móveis e APIs que servem dados diferentes para telefones.
E as strings que te sinalizam imediatamente: agentes de biblioteca padrão (python-requests, curl, Scrapy, urllib), identificadores headless (HeadlessChrome, PhantomJS), e strings malformadas ou antigas (um UA vazio, um Mozilla/5.0 nu, ou MSIE 6.0). Sempre mantenha as versões atualizadas - uma string do Chrome de três anos é quase tão suspeita quanto nenhuma string.
Por que rodar mil UAs falha
O conselho clássico - coletar mil user agents e rodar um por requisição - agora te prejudica ativamente, por duas razões. Primeiro, a maioria das grandes listas está obsoleta, então você está rodando strings que individualmente parecem desatualizadas. Segundo, e mais importante, rodar apenas o UA deixa todas as outras camadas constantes: seu fingerprint TLS, seus Client Hints, seu IP e seu ritmo de requisição não mudam com a string. A detecção vê o handshake TLS de uma única máquina usando quarenta nomes de navegadores diferentes - o que é muito mais anômalo do que uma identidade honesta. Se você deve rodar, rode a identidade inteira junto, e mantenha o pool pequeno e atualizado:
import random
# A SMALL curated pool - each identity ships matching Client Hints
IDENTITIES = [
{"ua": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/144.0.0.0 Safari/537.36",
"platform": '"Windows"', "mobile": "?0"},
{"ua": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/144.0.0.0 Safari/537.36",
"platform": '"macOS"', "mobile": "?0"},
]
def headers_for(i):
return {
"User-Agent": i["ua"],
"Sec-CH-UA-Platform": i["platform"],
"Sec-CH-UA-Mobile": i["mobile"],
"Accept-Language": "en-US,en;q=0.9",
}
h = headers_for(random.choice(IDENTITIES)) # rotate identities, never UA alone
A camada abaixo do header: TLS e IP
Mesmo um conjunto perfeito de headers pode perder para o handshake abaixo dele. Python e Go negociam TLS de uma forma que não corresponde ao Chrome, produzindo um fingerprint JA3/JA4 que denuncia a requisição não importa o que o UA alegue - nosso guia sobre fingerprinting TLS JA3/JA4 explica a discrepância. Isso também é por que a mesma URL pode retornar 200 em um navegador e 403 do curl, coberto em por que curl recebe 403 quando o navegador funciona. A última camada é o IP: um fingerprint Chrome coerente de um IP de datacenter sinalizado ainda falha. Combine seus headers com uma saída residencial confiável e ritmo humano - a pilha completa está em nosso checklist anti-ban, e os sinais de detecção em como sites detectam proxies.
O resultado prático: concentre seu esforço em frescor e coerência, não no tamanho da lista. Uma dúzia de identidades atuais, cada uma enviando Client Hints correspondentes e emparelhada com um perfil TLS de navegador real, superará uma lista raspada de dez mil strings. A grande lista te dá variedade no único campo que a detecção agora menos confia; coerência te dá credibilidade em todos eles de uma vez.
Quando parar de gerenciar headers manualmente
Manter strings de UA atuais, Client Hints correspondentes, alinhando o fingerprint TLS e rodando IPs confiáveis é uma esteira de manutenção. Em alvos difíceis, é mais barato entregar todo o problema de fingerprint a uma Scraper API que carrega uma identidade de navegador real e coerente - headers, Client Hints, TLS e IP juntos - e a atualiza conforme os navegadores lançam novas versões. Você envia uma URL; ele cuida do disfarce.
Deixe a Scraper API lidar com o fingerprint completo
Perguntas frequentes
Qual é o melhor user agent para web scraping?
Uma string atual e real do Chrome em uma plataforma comum - Windows ou macOS - mantida atualizada, porque a participação de mercado de ~65% do Chrome significa que ela se mistura melhor. Mas a string só funciona quando seus Client Hints, fingerprint TLS e IP todos descrevem o mesmo navegador. Não há uma string mágica única; coerência é o que importa.
Rodar user agents previne bloqueios?
Não por si só. Rodar o UA enquanto seu fingerprint TLS, Client Hints e IP permanecem constantes é mais suspeito, não menos - a detecção vê uma máquina usando muitos nomes de navegadores. Rode a identidade inteira junto, mantenha o pool pequeno e atualizado, e combine com IPs confiáveis e ritmo humano.
Quais user agents devo evitar?
Strings de biblioteca padrão (python-requests, curl, Scrapy, urllib), identificadores headless (HeadlessChrome, PhantomJS), e qualquer coisa malformada ou antiga - um UA vazio, um Mozilla/5.0 nu, ou strings antigas do MSIE. Cada um te sinaliza como automatizado antes de qualquer outro sinal ser verificado.
Preciso enviar Client Hints?
Para sites modernos, sim. O Chrome moveu detalhes do navegador para Sec-CH-UA, Sec-CH-UA-Mobile e Sec-CH-UA-Platform, e a detecção verifica esses contra seu User-Agent. Um UA sem Client Hints ou, pior, contraditórios é um gatilho comum de bloqueio - envie-os e mantenha-os consistentes com seu UA.
O melhor user agent para web scraping em 2026 não é uma string que você copia de uma lista de mil - é uma única identidade de navegador atual onde o UA, Client Hints, fingerprint TLS e IP todos concordam. Acerte a coerência, rode identidades inteiras em vez de strings, e apoie com uma saída confiável.