Cómo recopilar datos de entrenamiento para aprendizaje automático desde la web
El modelo es la parte fácil. Obtener un conjunto de entrenamiento limpio, deduplicado, legalmente seguro y actualizable desde la web abierta es donde los proyectos realmente se detienen. Aquí está la canalización de recopilación, de principio a fin.
Entrenar un modelo es a menudo la parte fácil. El paso que detiene los proyectos de aprendizaje automático es aguas arriba: ensamblar un conjunto de entrenamiento limpio, deduplicado, legalmente seguro y actualizable desde la web abierta. Obtener páginas en bruto es barato — un rastreador hace eso — pero convertirlas en filas utilizables es el verdadero trabajo, y es lo que cubre esta guía: obtención, limpieza a texto estructurado, deduplicación, muestreo, licenciamiento y la canalización de actualización que evita que un modelo se quede obsoleto.
Comienza con la señal, no con el scraper
Antes de escribir cualquier código de recopilación, define exactamente qué necesita aprender el modelo y qué fuentes llevan esa señal. Los datos vienen en tres formas y cada una tiene diferentes costos de recopilación: estructurados (tablas, feeds de productos — fáciles de analizar), semi-estructurados (endpoints JSON, CSV, XML — a menudo lo más limpio que expone un sitio), y no estructurados (texto de artículos, reseñas, hilos de foros). El contenido no estructurado es el 80-90% de todos los datos y se informa que solo alrededor del 0.5% se utiliza, que es exactamente la brecha que cierra un conjunto de datos web bien construido. Decide qué forma buscas antes de escalar cualquier cosa.
Rastrea para obtener texto limpio, no HTML en bruto
Alimentar HTML en bruto en una canalización de entrenamiento significa alimentarla con navegación, anuncios, banners de cookies y etiquetas de script — ruido que degrada el conjunto de datos. La jugada duradera es rastrear directamente a texto limpio y estructurado. Una Scraper API que devuelve markdown hace el despojo de rutina por ti, por lo que un rastreo de miles de páginas aterriza como contenido legible en lugar de sopa de etiquetas:
import requests
def fetch_clean(url):
r = requests.get(
"https://api.quantumproxies.io/scrape",
params={"url": url, "format": "markdown"},
headers={"Authorization": "Bearer YOUR_API_KEY"},
timeout=60,
)
return r.json()["content"] # boilerplate-stripped markdown
corpus = [fetch_clean(u) for u in seed_urls]Markdown es un buen objetivo porque mantiene la estructura (encabezados, listas, tablas) mientras elimina la capa de presentación — la misma razón por la que es la entrada preferida para canalizaciones RAG y entrenamiento de LLM por igual. Dirige el rastreo a través de IPs residenciales rotativas para que una gran ejecución de recopilación no bloquee todo el trabajo a mitad de camino.
Deduplica antes de que envenene el modelo
Los documentos casi duplicados son el asesino silencioso de los conjuntos de datos web — el mismo artículo sindicado en diez sitios, pies de página de rutina, contenido republicado. Entrena con ellos y sobreponderas lo que se repite. Hashea el contenido normalizado de cada documento y elimina las colisiones; para los casi duplicados, un enfoque de shingle o MinHash captura los que un hash exacto no detecta:
import hashlib
def content_hash(text):
norm = " ".join(text.lower().split()) # normalise whitespace/case
return hashlib.sha256(norm.encode()).hexdigest()
seen, unique = set(), []
for doc in corpus:
h = content_hash(doc)
if h not in seen:
seen.add(h)
unique.append(doc)
print(f"kept {len(unique)} of {len(corpus)} after dedup")El hash de contenido que calculas aquí tiene doble función — también es como detectas cambios en el próximo rastreo, así que consérvalo.
Muestra deliberadamente, licencia honestamente
Más datos no son automáticamente mejores datos. Una muestra representativa supera a una pila desequilibrada — si el 90% de tu rastreo es de un sitio o un idioma, el modelo aprende ese sesgo. Muestra estratificada a través de tus fuentes y clases para que el conjunto refleje la distribución que realmente deseas modelar. Sobre el licenciamiento: los datos web no son automáticamente libres para entrenar. Filtra por términos de fuente, respeta las directivas de robots donde apliquen, y mantén la procedencia (la URL de origen y la fecha de obtención) junto a cada fila para que puedas probar de dónde vino cada ejemplo. Nuestra nota sobre la legalidad del scraping en 2026 cubre las líneas de datos personales y licenciamiento (informativo, no consejo legal).
Verdad fundamental: la parte que la web no te dará
Para el aprendizaje supervisado necesitas etiquetas, y la web abierta rara vez te las entrega. Algunos conjuntos de datos están inherentemente etiquetados (una calificación junto a una reseña, la siguiente palabra en una oración), por eso son baratos de recopilar a escala. Todo lo demás necesita un paso de verdad fundamental: etiquetado por expertos en el dominio, o crowdsourcing a través de un mercado. Si haces crowdsourcing, protege la calidad sembrando tareas de respuesta conocida y rechazando trabajadores que las fallen — ese es un modo de falla bien estudiado. Donde sea posible, prefiere datos web naturalmente etiquetados; es la diferencia entre un conjunto de datos que puedes construir en una semana y uno que necesita un presupuesto de etiquetado.
Actualiza, porque los datos se vuelven obsoletos
La recopilación nunca es de una sola vez. Los precios cambian, las páginas se reescriben, aparece nuevo contenido — un modelo entrenado en una instantánea congelada se desvía del mundo que se supone debe predecir. Construye la actualización desde el primer día: vuelve a rastrear según un horario, compara el hash de contenido de cada página con la última ejecución, y solo reprocesa lo que realmente cambió. Eso mantiene el costo de actualización proporcional al cambio real en lugar de volver a descargar todo:
def refresh(url, last_hash):
text = fetch_clean(url)
h = content_hash(text)
if h == last_hash:
return None # unchanged, skip re-processing
return {"url": url, "text": text, "hash": h, "fetched": now()}Para dominios de rápido movimiento, o cuando prefieres consumir un feed gestionado en lugar de ejecutar el rastreo tú mismo, datos web construidos para LLMs te ofrece contenido limpio y actualizado sin mantener la canalización.
Rastrea la web para obtener markdown limpio a escala
Preguntas frecuentes
¿Dónde obtienes datos de entrenamiento para aprendizaje automático?
Tres fuentes principales: conjuntos de datos públicos existentes (Kaggle, Google Dataset Search, corpus académicos), datos internos de primera parte, y la web abierta a través de rastreo. La web es la fuente más grande y fresca pero necesita más trabajo — limpieza, deduplicación, muestreo y licenciamiento. Para muchos modelos modernos, un rastreo de sitios relevantes para obtener markdown limpio es la forma más rápida de obtener un conjunto de datos específico de dominio que no existe ya.
¿Cuántos datos de entrenamiento necesito?
Depende de la tarea y el modelo, y la respuesta honesta es: empieza pequeño y escala hasta que el rendimiento se estabilice. Entrena con una muestra representativa, mide la precisión en un conjunto de prueba retenido (una división de 70/30 es un punto de partida común), luego agrega más datos y observa si la métrica sigue mejorando. La calidad y la representatividad suelen importar más que el volumen bruto.
¿Es legal hacer scraping de datos web para entrenamiento de ML?
Recopilar datos públicos es en general defendible, pero el uso para entrenamiento plantea preguntas de licenciamiento y, donde están involucrados datos personales, de privacidad. Filtra por términos de fuente, evita datos personales que no necesitas, mantén la procedencia para cada ejemplo, y respeta las directivas de robots donde apliquen. Esta es información general, no consejo legal — busca asesoría para un conjunto de datos comercial a escala.
¿Cómo mantengo fresco un conjunto de datos de entrenamiento?
Programa re-rastreos y usa un hash de contenido para detectar cambios, reprocesando solo las páginas que realmente se movieron. Versiona tu conjunto de datos para que puedas reproducir qué instantánea entrenó qué modelo, y mantén las fechas de obtención en cada fila. La actualización incremental, detectada por cambios, mantiene el costo proporcional al cambio real en lugar de volver a descargar todo el corpus en cada ciclo.
El modelo se lleva los titulares, pero el conjunto de datos decide el resultado. Obtén la señal correcta, rastrea para obtener markdown limpio, deduplica a fondo, muestrea honestamente, mantén la procedencia, y construye la actualización desde el principio. Si aciertas en la canalización de recopilación, todo lo que sigue se vuelve más fácil. Si te diriges específicamente hacia el ajuste fino, nuestra guía sobre construir un conjunto de datos de ajuste fino desde la web retoma donde esto termina.