Extrae Datos de GitHub Más Allá del Límite de la API: Estrellas, Dependientes
La API de GitHub limita las llamadas no autenticadas a 60 por hora y oculta completamente los dependientes y las tendencias. Aquí te mostramos cómo extraer las señales importantes utilizando IPs económicas.
GitHub es una mina de oro para la investigación: curvas de adopción, impulso de competidores, gráficos de dependencias, señales de contratación, y su API oficial te ofrece una parte de eso gratis. Luego se detiene. Las llamadas no autenticadas están limitadas a 60 por hora, y los dos conjuntos de datos que la gente más desea, el gráfico de dependientes y la página de tendencias, no están en la API en absoluto. Esta guía cubre cómo extraer datos de GitHub más allá de esos límites: lo que la API te ofrece, lo que debes leer del HTML, y por qué GitHub es un objetivo raro donde los proxies económicos de centros de datos e IPv6 son la herramienta adecuada.
Conoce los límites antes de enfrentarlos
Comienza con la API: está estructurada, aprobada y es económica en cuota si te autenticas. Los números que lo determinan todo: las solicitudes REST no autenticadas están limitadas a 60 por hora, contadas por IP; un token autenticado obtiene 5,000 por hora; la API de búsqueda es aún más restrictiva con 30 solicitudes por minuto autenticadas (10 no autenticadas). El detalle clave es que el límite no autenticado se cuenta por IP, lo que es precisamente por qué enrutar lecturas a través de muchas IPs multiplica tu margen.
import requests
# Authenticated API call - watch the rate-limit headers
headers = {"Authorization": "Bearer YOUR_GH_TOKEN",
"Accept": "application/vnd.github+json"}
r = requests.get("https://api.github.com/repos/psf/requests", headers=headers, timeout=15)
repo = r.json()
print(repo["stargazers_count"], repo["forks_count"], repo["open_issues_count"])
print("remaining this hour:", r.headers["X-RateLimit-Remaining"])Usa la API para cualquier cosa que exponga claramente, y usa git clone para el contenido de archivos: clonar y procesar un repositorio localmente es más rápido y menos agresivo que extraer páginas de archivos individuales. Extraer HTML es para las señales que la API limita hasta la inutilidad o omite por completo.
Lo que debes leer del HTML
Tres conjuntos de datos de alto valor viven solo en las páginas renderizadas. El gráfico de dependientes - el conteo "Usado por" de GitHub y la lista de repositorios que dependen de un paquete - es una de las métricas de adopción más fuertes que existen, y no está en la API. Las páginas de tendencias (github.com/trending, filtrables por lenguaje y ventana) son solo HTML. Y las páginas de temas muestran repositorios por tema de manera mucho más útil de lo que permite la cuota de búsqueda. Los tres son HTML renderizado por el servidor, por lo que una simple solicitud y análisis funciona - no se requiere navegador.
import requests
from bs4 import BeautifulSoup
# Scrape the trending page through a datacenter proxy
PROXY = "http://USER:PASS@dc.quantumproxies.io:8000"
def trending(language="python", since="daily"):
url = f"https://github.com/trending/{language}?since={since}"
r = requests.get(url, proxies={"https": PROXY}, timeout=20,
headers={"User-Agent": "Mozilla/5.0"})
soup = BeautifulSoup(r.text, "html.parser")
repos = []
for row in soup.select("article.Box-row"):
name = row.select_one("h2 a")["href"].strip("/")
stars = row.select_one("a[href$='/stargazers']")
repos.append({"repo": name,
"stars": stars.get_text(strip=True) if stars else None})
return repos
print(trending("rust", "weekly")[:5])
GitHub es un objetivo de centro de datos (y tal vez IPv6)
Aquí está la parte que la gente sobre-ingeniería. Las páginas públicas de GitHub son renderizadas por el servidor, indulgentes y no tienen un desafío agresivo de JavaScript, por lo que no necesitas IPs residenciales premium para leerlas. Este es un caso de libro de texto para proxies de centros de datos: económicos, rápidos y abundantes, distribuidos ampliamente para que ninguna IP individual se acerque al límite no autenticado o active un límite de tasa secundario. Recurrir a residenciales aquí es pagar precios de lujo por un trabajo que una IP económica hace perfectamente. Nuestra guía sobre cuándo los proxies de centros de datos son la elección correcta describe exactamente este tipo de objetivo indulgente y de alto rendimiento.
Hay una opción aún más económica que vale la pena probar: IPv6. Cuando un objetivo responde sobre IPv6, los grupos de proxies IPv6 te ofrecen un espacio de direcciones enorme y de bajo costo, ideal para distribuir lecturas limitadas por IP a través de miles de salidas. GitHub ha estado implementando soporte para IPv6, por lo que es uno de los pocos objetivos grandes donde esto vale la pena comprobar en lugar de asumir. Pruébalo antes de comprometerte: pasa el objetivo por nuestro verificador de compatibilidad IPv6 gratuito, y lee la economía en nuestra guía completa de proxies IPv6.
Obtén proxies rápidos de centros de datos para GitHub
Ten cuidado con el límite de tasa secundario
Los límites por hora no son el único limitador que encontrarás. GitHub también ejecuta detección de abuso que reacciona a tráfico explosivo, altamente concurrente o sospechosamente regular, por lo que incluso mientras te mantienes cómodamente por debajo del límite numérico, martillar desde una sola IP puede ganarte un bloqueo temporal. Las defensas son las mismas que te hacen un cliente educado: limita la concurrencia, añade un poco de variación entre solicitudes, respeta cualquier encabezado Retry-After que el servidor te entregue, y distribuye la carga para que ninguna salida individual lleve un patrón descontrolado. Esta es la verdadera razón por la que un grupo amplio importa: no es solo la aritmética de 60 por hora, es que ninguna IP individual debería parecer un script descontrolado. Retrocede ante el primer 403 o ralentización en lugar de intentar de nuevo directamente hacia una prohibición más larga.
Convertir datos de repositorios en inteligencia de herramientas de desarrollo
El objetivo de todo esto es la capa de análisis. Rastrear la velocidad de estrellas de una biblioteca competidora y el conteo de dependientes a lo largo del tiempo es observar la adopción en tiempo real. Compara las páginas de tendencias por lenguaje semana tras semana para detectar herramientas emergentes antes de que sean obvias. Extrae listas de colaboradores para leer el tamaño del equipo y las señales de contratación. Combina desgloses de lenguaje a través de un tema para mapear todo un ecosistema. Captura instantáneas de repositorios en un horario, almacena cada captura con una marca de tiempo, y las diferencias se convierten en el producto: impulso, no un solo número. Una lectura única de 40,000 estrellas es trivial; el mismo repositorio agregando 2,000 estrellas por semana mientras su conteo de dependientes sube es una señal de adopción genuina en la que puedes actuar antes de que el mercado más amplio lo note.
import requests
from bs4 import BeautifulSoup
# The 'Used by' dependents count - a top adoption signal, HTML-only
def used_by(owner, repo):
url = f"https://github.com/{owner}/{repo}/network/dependents"
proxy = "http://USER:PASS@dc.quantumproxies.io:8000"
r = requests.get(url, proxies={"https": proxy}, timeout=20,
headers={"User-Agent": "Mozilla/5.0"})
soup = BeautifulSoup(r.text, "html.parser")
tab = soup.select_one("a.btn-link.selected")
return tab.get_text(strip=True) if tab else None
print(used_by("pallets", "flask")) # e.g. '1.4m Repositories'Un hábito mantiene los costos razonables en volumen: solicita solo lo que necesitas. Las páginas de repositorios son ligeras, pero si te expandes a miles de repositorios, bloquea activos y reutiliza conexiones: nuestras notas sobre reducir el costo de ancho de banda de proxies se aplican incluso a un objetivo económico, porque la ganancia se compone.
Preguntas frecuentes
¿Cuál es el límite de tasa de la API de GitHub?
Las solicitudes REST no autenticadas están limitadas a 60 por hora, contadas por dirección IP. Un token autenticado eleva eso a 5,000 por hora. La API de búsqueda es separada y más restrictiva: 30 solicitudes por minuto autenticadas, 10 no autenticadas. Debido a que el límite no autenticado es por IP, distribuir las lecturas a través de un grupo de proxies es una manera efectiva de escalar la recolección.
¿Puedo extraer datos de GitHub que la API no expone?
Sí. El gráfico de dependientes ("Usado por"), las páginas de tendencias, las listas de temas y las líneas de tiempo de estrellas son solo HTML o están fuertemente limitadas por cuota a través de la API. Son páginas renderizadas por el servidor, por lo que una solicitud y análisis con BeautifulSoup funciona sin un navegador. Enruta a través de proxies de centros de datos y distribuye las lecturas para mantenerte por debajo de los límites de tasa secundarios.
¿Necesito proxies residenciales para GitHub?
Usualmente no. Las páginas públicas de GitHub son indulgentes y renderizadas por el servidor sin un desafío agresivo de JavaScript, por lo que los proxies económicos de centros de datos las manejan bien: el objetivo es distribuir solicitudes a través de IPs, no disfrazarlas como hogares. Si el objetivo responde sobre IPv6, los grupos de IPv6 son aún más económicos. Reserva las IPs residenciales para objetivos genuinamente hostiles.
¿Debería usar git clone o extraer páginas de archivos?
Clona para el contenido de archivos. Ejecutar git clone y procesar el repositorio localmente es más rápido, más suave para GitHub, y evita los límites de tasa por archivo por completo. Reserva la extracción de HTML y la API para metadatos y señales - estrellas, dependientes, tendencias, colaboradores - que no puedes obtener de los archivos verificados por sí mismos.
GitHub recompensa un enfoque en capas: API donde es generosa, git clone para archivos, y extracción de HTML para las señales de adopción que oculta, todo distribuido a través de IPs económicas para que ninguna dirección individual alcance el muro de 60 por hora. Prueba para IPv6, apóyate en grupos de centros de datos, y toda la plataforma se convierte en un conjunto de datos de ecosistema de desarrollo en vivo.