Como Programar e Monitorar Web Scrapers como Software de Produção
Programar um scraper é os 20% fáceis. Mantê-lo funcionando — identificando o dia em que ele retorna silenciosamente linhas vazias ou uma taxa de bloqueio crescente — é o verdadeiro trabalho. Veja como executar scrapers como software de produção.
Fazer um scraper rodar em um cronograma leva cerca de cinco linhas de código. Mantê-lo produzindo dados corretos por meses — através de mudanças de layout, novos controles de acesso e taxas de bloqueio crescentes — é a verdadeira engenharia. Um scraper programado é software de produção, e a falha que você deve temer não é um colapso ruidoso, mas um silencioso: uma execução que retorna 200 OK e linhas vazias enquanto todos a jusante assumem que os dados estão atualizados. Este guia cobre programação, SLAs de atualidade, portões de qualidade, detecção de desvio e alertas.
Programação: local, depois na nuvem
Para uma única máquina, as opções mais limpas são a biblioteca Python schedule para temporização intuitiva no processo, ou cron do sistema no macOS e Linux (Task Scheduler no Windows). schedule lê quase como inglês:
import schedule, time
from my_scraper import run_job
schedule.every().day.at("06:30").do(run_job) # daily pull
schedule.every(10).minutes.do(run_job) # or a tight loop
while True:
schedule.run_pending()
time.sleep(1)O problema com a programação no processo é que ela morre com o processo. Para qualquer coisa que importe, mude para um programador que sobreviva a reinicializações. Cron é o mais simples; um executor de CI gratuito como o GitHub Actions é o mais portátil, pois controla a versão do scraper e do cronograma juntos:
# crontab -e : run the scraper every day at 06:30, log output
30 6 * * * cd /srv/scraper && /usr/bin/python run.py >> /var/log/scraper.log 2>&1# .github/workflows/scrape.yml (GitHub Actions, free minutes)
name: daily-scrape
on:
schedule:
- cron: '30 6 * * *' # 06:30 UTC daily
jobs:
run:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- run: pip install -r requirements.txt
- run: python run.py
env:
PROXY_URL: ${{ secrets.PROXY_URL }} # USER:PASS@gate.quantumproxies.io:PORTExecutores na nuvem (GitHub Actions, funções gerenciadas, programadores hospedados) também oferecem tentativas e logs gratuitamente. Seja qual for sua escolha, mantenha as credenciais do proxy em um armazenamento secreto, não no repositório.
O verdadeiro problema é o desvio, não a programação
Scrapers escritos contra seletores HTML específicos são quase impossíveis de manter vivos indefinidamente, porque o alvo muda por baixo deles. Sites reestruturam seu markup, adicionam controles de acesso, apertam limites de taxa ou atualizam robots.txt, e qualquer um desses pode transformar um scraper funcional em um que não retorna nada — geralmente sem lançar um erro. É por isso que o monitoramento importa mais do que a programação: o programador executa o trabalho, mas apenas o monitoramento informa que o trabalho parou de produzir dados. Um scraper que continua retornando resultados vazios após uma mudança de layout é o caso clássico de uma página que renderiza de forma diferente do que você espera.
Torne o desvio detectável, não apenas sobrevivível. Registre a contagem de linhas e a taxa de preenchimento de cada campo em cada execução e mantenha esse histórico — um gráfico simples de registros por execução transforma uma mudança de layout silenciosa em um penhasco óbvio. Emparelhe isso com um canário: raspe uma página conhecida cujo resultado correto você codificou, e falhe ruidosamente no momento em que o analisador retornar algo diferente. Detectar desvio em uma única página canário é muito mais barato do que descobri-lo uma semana depois, após dados ruins já terem se espalhado por todos os relatórios e modelos a jusante.
Defina um SLA de atualidade
Decida quão antigos seus dados podem ser e faça valer isso. Se um modelo ou painel a jusante precisar de dados não mais antigos que 24 horas, isso é um SLA de atualidade — e precisa de um alerta, não de esperança. Carimbe cada registro na coleta, rastreie a idade da linha mais recente por fonte, e dispare um alerta quando a última extração bem-sucedida exceder seu limite. Dados obsoletos são veneno silencioso precisamente porque nada quebra; os números simplesmente param de se mover. Um modelo de monitoramento contínuo — verifique mudanças e capture apenas o que mudou — supera a raspagem cega de tudo e é muito mais gentil com seu orçamento de bloqueio.
Portões de qualidade capturam o que falhas não capturam
O guardião mais valioso em um pipeline de raspagem é um portão de validação que interrompe uma execução quando a saída se desvia do normal. Defina limites explícitos: uma contagem mínima de registros por execução (um trabalho que geralmente retorna ~2.000 linhas mas retorna 400 é uma falha de infraestrutura), uma participação máxima de páginas vazias (digamos 3%), e regras de cumprimento por coluna (título e preço 100%, um campo opcional como desconto apenas 5%). Interrompa na violação em vez de escrever dados ruins a jusante:
def quality_gate(rows, min_rows=2000, max_empty=0.03):
empty = sum(1 for r in rows if not r.get("title"))
if len(rows) < min_rows:
raise RuntimeError(f"too few rows: {len(rows)} < {min_rows}")
if empty / max(len(rows), 1) > max_empty:
raise RuntimeError(f"empty pages {empty/len(rows):.0%} over {max_empty:.0%}")
if any(r.get("price") in (None, "") for r in rows):
raise RuntimeError("price column not 100% filled")
return rows # only clean runs reach storage and alerts
Alerta sobre taxa de bloqueio, não apenas erros
Um scraper que de repente é bloqueado muitas vezes ainda sai limpo — ele apenas retorna resultados mais escassos e finos. Acompanhe a proporção de respostas bloqueadas ou desafiadas (403s, 429s, páginas CAPTCHA) para solicitações totais, e alerte quando cruzar um limite. Uma taxa de bloqueio crescente é o sinal mais precoce de que seus IPs ou impressão digital estão sendo sinalizados, e permite que você reaja antes que o conjunto de dados se degrade. A correção durável para a taxa de bloqueio é a montante: roteie através de IPs residenciais rotativos e deixe uma Scraper API lidar com a renderização, rotação e tentativas para que uma mudança de alvo não silencie sua pipeline. Quando 429s começam a aparecer, nosso guia de limite de taxa cobre o lado do recuo e do ritmo.
Mantenha scrapers programados desbloqueados com a Scraper API
Webhooks e entrega
Feche o ciclo com notificações push em vez de polling. Um webhook que dispara no momento em que uma execução termina — com status, contagem de registros e id do trabalho — permite que sistemas a jusante reajam imediatamente e dá a você um batimento cardíaco que você pode alertar se ele desaparecer. Entregue a saída validada para armazenamento em nuvem (S3, GCS, um armazém) em vez de arquivos locais, para que uma execução que passa pelo portão de qualidade flua diretamente para a análise. Para as filas e tentativas sob uma frota de trabalhos programados, veja nosso guia sobre arquitetura de raspagem em larga escala.
Perguntas frequentes
Como programar um web scraper?
Para uma única máquina, use a biblioteca Python schedule ou cron do sistema; para qualquer coisa durável, use um programador que sobreviva a reinicializações, como cron em um servidor ou um executor de CI gratuito como GitHub Actions com um gatilho cron. Executores na nuvem também oferecem tentativas e logs. Mantenha as credenciais do proxy em um armazenamento secreto e controle a versão do scraper junto com seu cronograma.
Como saber se meu scraper programado quebrou?
Não confie em falhas — um scraper quebrado muitas vezes sai limpo com dados vazios ou parciais. Adicione um portão de qualidade que verifica a contagem mínima de registros, a participação de páginas vazias e o cumprimento por coluna, e alerte quando qualquer limite for violado. Também acompanhe a taxa de bloqueio e a atualidade dos dados, já que um scraper pode retornar silenciosamente resultados obsoletos ou bloqueados enquanto parece ter sucesso.
Por que scrapers programados param de funcionar?
O alvo muda: sites reestruturam seu HTML, adicionam controles de acesso, apertam limites de taxa ou atualizam robots.txt, e scrapers baseados em seletores quebram contra a nova página. Falhas de rede e taxas de bloqueio crescentes se somam a isso. É por isso que o monitoramento — SLAs de atualidade, portões de qualidade e alertas de taxa de bloqueio — importa mais do que o próprio cronograma; a programação executa o trabalho, o monitoramento prova que ainda funciona.
O que é um SLA de atualidade de dados?
Um SLA de atualidade é a idade máxima que seus dados podem atingir antes de serem considerados obsoletos — por exemplo, nenhum registro mais antigo que 24 horas. Faça valer isso carimbando cada registro na coleta, rastreando a linha mais recente por fonte, e alertando quando a última extração bem-sucedida exceder o limite. Ele captura a falha silenciosa onde um scraper para de atualizar sem erro.
Programe com um programador que sobreviva a reinicializações, depois concentre seu esforço onde as falhas realmente se escondem: SLAs de atualidade, portões de qualidade, detecção de desvio e alertas de taxa de bloqueio. Execute a coleta em uma infraestrutura que absorve mudanças de alvo, e seus scrapers se comportam como o software de produção que são.