Raspagem de Notícias em Escala: Google News, RSS e Atualidade
O monitoramento de notícias falha em três pontos previsíveis: busca renderizada em JavaScript, limites de paginação e limites de taxa por IP. Aqui está o pipeline que supera todos os três — Google News, RSS, desduplicação e um SLA de atualidade.
O monitoramento de notícias parece um problema resolvido até você tentar executá-lo em mil publicadores a cada hora. Então, os mesmos três obstáculos aparecem que um famoso tutorial de Scrapy e Selenium encontrou anos atrás: os resultados de busca que você precisa são renderizados em JavaScript e retornam em branco para uma solicitação HTTP simples, a paginação é limitada, então você só pode obter os primeiros cem e poucos resultados por consulta, e cada publicador limita a taxa por IP, então um único rastreador para após algumas centenas de solicitações. Um pipeline de monitoramento de mídia que sobrevive em escala não é um único raspador inteligente — é um sistema em camadas de descoberta, extração, desduplicação e atualidade. Este guia constrói esse sistema com Google News, RSS e extração limpa de artigos, e destaca onde a linha ética se encontra.
Descoberta: RSS e o vertical do Google News
Você não pode monitorar o que não pode encontrar, e rastrear a página inicial de cada publicador é desperdício. Dois canais de descoberta fazem o trabalho pesado. Os feeds RSS são os mais baratos e limpos — sancionados pelos publicadores, já estruturados e triviais de consultar — mas a cobertura é irregular e o histórico é raso. O vertical do Google News preenche as lacunas: ele exibe histórias por tópico e por país, com fonte, data e trecho já analisados. Em vez de raspar a interface do News você mesmo, consulte-a através da SERP API, que retorna o vertical como JSON sem necessidade de análise de HTML e sem bloqueio do seu lado:
curl -G "https://api.quantumproxies.io/serp" \
--data-urlencode "engine=google_news" \
--data-urlencode "q=semiconductor export controls" \
--data-urlencode "gl=us" \
--data-urlencode "hl=en" \
-H "Authorization: Bearer YOUR_API_KEY"Executar a mesma consulta com diferentes códigos de país gl é como você captura a cobertura regional de uma história — uma técnica que importa porque o mesmo evento é enquadrado de forma diferente em mercados distintos. Para entender por que o News e outros verticais resistem à raspagem ingênua, veja como a raspagem de SERP funciona em 2026.
Extração: quando o artigo reage
A descoberta fornece URLs; a extração fornece o artigo. Muitos sites de notícias ainda servem HTML limpo renderizado no servidor, e para esses uma solicitação simples através de um IP rotativo é suficiente. Mas grandes veículos cada vez mais renderizam o artigo — ou pelo menos as páginas de busca e arquivo — no lado do cliente, então uma busca bruta retorna uma casca vazia. Esse é exatamente o modo de falha coberto em página vazia, dados ausentes. Em vez de executar uma frota de navegadores sem cabeça, delegue a renderização para a Scraper API, que executa a página e retorna markdown limpo pronto para indexação:
import requests
def fetch_article(url, api_key):
r = requests.get(
"https://api.quantumproxies.io/scrape",
params={"url": url, "render": "auto", "output": "markdown"},
headers={"Authorization": f"Bearer {api_key}"},
timeout=(5, 40),
)
r.raise_for_status()
return r.json() # { title, byline, published, markdown, canonical }O limite por IP que paralisa configurações de rastreador único desaparece aqui porque as solicitações se espalham automaticamente por um pool residencial rotativo. Quando você executa seu próprio rastreador, distribua a concorrência por domínio em vez de globalmente — a lógica está em limites de taxa desmistificados.
Normalização e desduplicação
A realidade bagunçada das notícias de múltiplas fontes é que a mesma história chega muitas vezes em formatos incompatíveis. Datas aparecem como 24 de março de 2021, 2 horas atrás e timestamps ISO no mesmo lote; assinaturas variam em formato; e histórias de agências como Associated Press ou Reuters são republicadas literalmente em dezenas de sites. Dois passos de normalização domam isso:
- Parse todas as datas para UTC. Strings relativas como 'ontem' e '3 dias atrás' devem ser resolvidas em relação ao tempo de busca, ou sua lógica de atualidade quebra silenciosamente.
- Desduplique por URL canônica, depois por hash de conteúdo. A tag
<link rel="canonical">colapsa variantes de URL com parâmetros de rastreamento; um hash do corpo normalizado captura cópias de agências sindicais que vivem em URLs diferentes. - Mantenha um mapa de fontes. Armazene quais veículos publicaram uma história em vez de descartar duplicatas — 'publicado por 40 veículos' é em si um sinal no monitoramento de mídia.
SLAs de atualidade e agendamento
O monitoramento de mídia é julgado pela latência: uma menção encontrada seis horas depois é inútil para reputação ou uso em negociações. Em vez de rastrear tudo em um único horário, divida sua consulta. Tópicos quentes e consultas de notícias de última hora são repolled a cada poucos minutos; a longa cauda de palavras-chave rotineiras é executada a cada hora ou diariamente. Trate cada nível como um SLA de atualidade e alerte quando uma fonte não o cumprir — a diferença entre uma demonstração e produção é exatamente esta camada de monitoramento, que cobrimos em executando raspadores como software de produção.
A linha do paywall
Algumas das coberturas mais valiosas estão atrás de assinaturas, e é aqui que o monitoramento encontra a ética. Coletar manchetes, trechos, datas de publicação e corpos de artigos públicos é monitoramento de mídia comum. Contornar um paywall para obter o texto completo de um artigo que você não pagou é um ato diferente, com consequências de direitos autorais e termos de serviço. A abordagem durável é indexar o que é servido publicamente — manchete, dek, trecho, metadados — e vincular à fonte para a leitura completa, ou licenciar feeds de publicadores que os vendem. Esta é uma orientação informativa, não um conselho jurídico; para qualquer coisa em escala, confirme sua abordagem com um advogado.
Perguntas frequentes
Como faço para raspar o Google News em escala?
Consulte o vertical do Google News através de uma SERP API em vez de raspar a interface diretamente. Você passa uma consulta de tópico mais os parâmetros gl e hl para país e idioma, e recebe de volta fontes, timestamps e trechos como JSON. Isso evita a renderização em JavaScript e o bloqueio de IP que quebram raspadores caseiros do News, e executar a consulta em códigos de país captura a cobertura regional da mesma história.
Existe uma API de notícias gratuita para raspar artigos?
Os feeds RSS são o mais próximo de um feed de notícias gratuito e sancionado por publicadores e devem ser seu primeiro canal de descoberta. Eles são estruturados e baratos de consultar, mas a cobertura é incompleta e o histórico é raso. Para uma cobertura ampla e atual em milhares de veículos, você combina RSS com uma busca de notícias baseada em SERP e extração direta de artigos, já que nenhuma fonte gratuita cobre todo o cenário midiático.
Por que meu raspador de notícias retorna uma página em branco?
O site renderiza seu conteúdo — frequentemente as páginas de busca e arquivo especificamente — com JavaScript, então uma solicitação HTTP simples recebe uma casca de HTML vazia antes que os scripts sejam executados. Ou renderize a página com um navegador ou uma API de raspagem de renderização, ou encontre o endpoint JSON subjacente que a página chama. Um resultado em branco quase sempre significa renderização no lado do cliente em vez de uma falha de rede.
Como faço para desduplicar artigos de notícias?
Desduplique em duas passagens: primeiro colapse variantes de URL usando a tag de link canônica da página para remover cópias com parâmetros de rastreamento, depois faça um hash do corpo do artigo normalizado para capturar histórias sindicais republicadas em URLs diferentes. Mantenha um mapa de quais veículos publicaram cada história em vez de excluir duplicatas — no monitoramento de mídia, a disseminação de uma história entre veículos é uma métrica central.
Notícias em escala não são um problema de raspagem, é um problema de pipeline. Divida descoberta, extração, normalização e atualidade em etapas isoladas, confie no vertical do Google News e RSS para cobertura, e deixe IPs rotativos e uma API de renderização absorverem o JavaScript e os limites de taxa que afundam construções de rastreador único. Faça isso e uma mudança de layout nunca derruba todo o sistema.