Scraping von Krypto- und NFT-Marktdaten jenseits der Exchange-APIs

Exchange-APIs sind rate-limitiert und decken nur die Coins ab, die sie listen. DEX-Paare, NFT-Floor-Preise und Mint-Kalender befinden sich auf JS-lastigen Seiten hinter Bot-Erkennung. So sammeln Sie all diese Daten zuverlässig.

Krypto-Marktdaten scheinen einfach zu sein — sicherlich hat jede Börse eine API? Das stimmt, aber diese APIs sind rate-limitiert, decken nur die Vermögenswerte ab, die die Börse listet, und sagen nichts über die beiden Orte, an denen viel Alpha lebt: dezentrale Exchange (DEX)-Paare und NFT-Marktplätze. Wenn Sie einen Preis-Tracker, einen Listing-Bot oder einen Alt-Daten-Feed aufbauen, stoßen Sie schnell an die API-Grenze und müssen den Rest scrapen. Dieser Leitfaden behandelt die Schichten von Krypto- und NFT-Daten, wann man eine API im Vergleich zum Scraping verwendet und die Proxy-Einrichtung, die einen Echtzeit-Feed am Laufen hält. Es geht um Datensammlung, nicht um Anlageberatung.

Drei Schichten von Marktdaten

Denken Sie an die Daten in drei Ebenen. Zentralisierte Exchange- und Aggregator-Daten — Preis, Marktkapitalisierung, Umlaufangebot, 24h-Volumen und 1h/24h/7d-Änderung — sind das, was Seiten wie CoinMarketCap und CoinGecko bieten, und sie sind am einfachsten zu erhalten. DEX-Daten — Live-Paar-Preise, Liquidität, neue Listings — befinden sich auf JavaScript-gerenderten Seiten und haben selten eine saubere, kostenlose API. NFT-Daten — Floor-Preise, Listing-Anzahlen, Mint-Kalender — sitzen auf Marktplatzseiten, die clientseitig rendern und Bot-Erkennung betreiben. Die meisten Projekte benötigen mindestens zwei dieser Ebenen, weshalb eine API allein nie ausreicht.

Beginnen Sie mit der Aggregator-API

Für Top-of-Book CEX-Daten verwenden Sie zuerst eine öffentliche Aggregator-API — es ist kostenloses JSON, schnell und bereits normalisiert. Der Haken ist das Rate-Limit: Kostenlose Stufen begrenzen Sie auf eine bescheidene Anzahl von Anrufen pro Minute, was zusammenbricht, sobald Sie Hunderte von Vermögenswerten häufig abfragen. Ziehen Sie den Bulk-Snapshot mit so wenigen Anrufen wie möglich ein und scrapen Sie dann den langen Schwanz, den die API nicht abdeckt.

import requests

# one call returns the top 100 by market cap, already normalised
r = requests.get(
    "https://api.coingecko.com/api/v3/coins/markets",
    params={"vs_currency": "usd", "order": "market_cap_desc",
            "per_page": 100, "page": 1},
    timeout=15,
)
for c in r.json()[:5]:
    print(c["symbol"], c["current_price"],
          c["total_volume"], c["price_change_percentage_24h"])

Wenn Sie das kostenlose Rate-Limit überschreiten, verteilen Sie die Anfragen auf rotierende IPs, sodass die pro-IP-Grenze nicht mehr Ihre Obergrenze ist. Da Aggregator-Endpunkte API-ähnlich und nachsichtig sind, sind schnelle Datacenter-Proxies hier die wirtschaftliche Wahl — günstig, schnell und ausreichend, um das Abfragen zu parallelisieren, ohne Limits zu überschreiten.

DEX-Paare und Exchange-Seiten: Rendern Sie das JavaScript

DEX-Paar-Seiten und viele Exchange-Marktplatzseiten zeichnen ihre Preise und Charts mit JavaScript hinter aggressiver Bot-Erkennung — eine rohe HTTP-Anfrage erhält eine leere Hülle. Um Live-Paar-Preise, Liquidität oder die vollständige Handelsansicht eines Tokens zu lesen, rendern Sie die Seite in einem Headless-Browser, der über einen Proxy geleitet wird. Warten Sie auf das Preiselement anstatt einer festen Schlafzeit und rotieren Sie die Exit-IP pro Lauf, damit der Endpunkt keinen wiederkehrenden Besucher erkennt.

from playwright.sync_api import sync_playwright

PROXY = {"server": "http://gate.quantumproxies.io:8000",
         "username": "USER", "password": "PASS"}

def pair_price(url, selector):
    with sync_playwright() as p:
        browser = p.chromium.launch(proxy=PROXY)
        page = browser.new_page()
        page.goto(url, wait_until="networkidle", timeout=30000)
        page.wait_for_selector(selector)          # wait for the price to render
        price = page.inner_text(selector)
        browser.close()
        return price

Wenn Sie viele davon rendern, wird die Wartung einer Browserflotte plus Proxy-Rotation schwer. Eine Scraper API rendert das JavaScript, überwindet die Bot-Schicht und liefert saubere Daten in einem Anruf — unser Hinweis auf Scraping von JavaScript-lastigen Seiten erklärt, wann man umschalten sollte.

JS-lastige Krypto-Seiten mit Scraper API rendern

NFT-Floors und Mint-Kalender

NFT-Daten sind das, worauf Listing-Bots und Floor-Sweeper laufen: der aktuelle Floor-Preis einer Kollektion, wie viele gelistet sind und wann neue Mints live gehen. Marktplatzseiten rendern clientseitig, daher ist der zuverlässige Ansatz, den Floor einer Kollektion in einem engen Zeitplan zu erfassen und zu differenzieren — ein Rückgang im Floor oder ein Anstieg der Listings ist das Signal, auf das Händler reagieren. Mint-Kalender folgen demselben Muster, das auf bevorstehende Drops angewendet wird: den Kalender abfragen, neue Einträge erfassen und bei denjenigen alarmieren, die Sie interessieren.

import time

def watch_floor(collection_url, selector, interval=60):
    last = None
    while True:
        floor = float(pair_price(collection_url, selector).strip(" ETH"))
        if last is not None and floor < last:
            print(f"floor dropped {last} -> {floor}")   # act on the dip
        last = floor
        time.sleep(interval)                              # snapshot cadence

Hier leben oder sterben Listing-Bots mit ihren Daten. Ein Sniping-Bot, der auf einen Floor-Rückgang oder ein neues Listing reagiert, ist nur so schnell wie sein Feed, und ein Feed, der rate-limitiert ist oder blockiert wird, ist wertlos. Die Bots, die gewinnen, fragen ihre Zielkollektionen aggressiv ab, von sauberen rotierenden IPs, und normalisieren alles in eine Form — Kollektion, Preis, Währung, Zeitstempel — sodass ein Rückgang über Marktplätze hinweg vergleichbar ist. Das Scraping-Problem und das Handelsproblem sind dasselbe Problem: Halten Sie die Daten frisch und werden Sie nie von der Quelle ausgeschlossen.

Welche Proxies für welche Schicht

Passen Sie den Proxy an das Ziel an. Aggregator- und öffentliche JSON-Endpunkte sind nachsichtig — schnelle, günstige Datacenter-Proxies mit Rotation bewältigen sie und halten Ihre Kosten pro GB niedrig. DEX-Seiten, Exchange-Marktplatzansichten und NFT-Marktplätze betreiben echte Bot-Erkennung, daher benötigen diese Wohn-IP-Adressen oder eine Scraper API, die einen Browser-Fingerabdruck trägt. Der Fehler, den es zu vermeiden gilt, ist das Bezahlen für Wohnbandbreite an Endpunkten, die gerne eine Datacenter-IP bedienen würden — das wird in unserem Leitfaden, wann Datacenter-Proxies gewinnen, behandelt. Und da diese Feeds Alt-Daten-Strategien antreiben, gilt die gleiche Sammlungdisziplin aus unserem Alt-Daten für Fonds-Leitfaden: Alles mit Zeitstempel versehen und nach einem festen Rhythmus erfassen.

Häufig gestellte Fragen

Warum Krypto-Daten scrapen, wenn Börsen APIs haben?

Exchange-APIs sind rate-limitiert und decken nur die Vermögenswerte ab, die die Börse listet. Sie geben keine DEX-Paar-Preise, NFT-Floor-Preise oder Mint-Kalender preis, und kostenlose Stufen begrenzen Ihr Anrufvolumen. Scraping füllt diese Lücken — den langen Schwanz von Tokens, dezentralen Märkten und Marktplatzdaten — und ermöglicht es Ihnen, über Quellen hinweg zu aggregieren, die die APIs nie verbinden.

Brauche ich Proxies, um Krypto- und NFT-Daten zu scrapen?

Für die leichte Nutzung einer öffentlichen API, nein. Für häufiges Abfragen oder Scraping von DEX- und NFT-Seiten, ja. Aggregator-Endpunkte begrenzen Sie pro IP, daher erhöhen rotierende Datacenter-Proxies Ihren Durchsatz. DEX- und Marktplatzseiten betreiben Bot-Erkennung, die Wohn-IP-Adressen oder eine Scraper API benötigt, die JavaScript rendert und einen Browser-Fingerabdruck trägt.

Wie scrapt man NFT-Floor-Preise?

Marktplatz-Kollektion-Seiten rendern clientseitig, daher rendern Sie die Seite in einem Headless-Browser über einen Proxy, warten auf das Floor-Preis-Element und erfassen es nach einem Zeitplan. Differenzieren Sie aufeinanderfolgende Snapshots, um Rückgänge und Listing-Spitzen zu erfassen. Rotieren Sie die Exit-IPs pro Lauf und passen Sie Ihr Abfrageintervall an, damit der Marktplatz keinen wiederkehrenden Besucher markiert.

Wie oft sollte man Krypto-Preise erfassen?

Das hängt vom Anwendungsfall ab. Portfolio-Tracking ist in Minutenabständen in Ordnung; DEX- und NFT-Floor-Überwachung für Handelssignale erfordert oft engere Intervalle, bis hin zu Sekunden für die aktivsten Paare. Schnellere Abfragen erhöhen Ihr Anfragevolumen und Blockierungsrisiko, daher verteilen Sie es auf rotierende IPs und speichern Zeitstempel, um die Serie zu rekonstruieren.

Krypto- und NFT-Marktdaten erstrecken sich über drei Ebenen — CEX-Aggregatoren, DEX-Paare, NFT-Floors und Mints — und keine einzelne API deckt sie ab. Beginnen Sie mit dem Aggregator für saubere CEX-Snapshots, rendern Sie die JS-lastigen DEX- und Marktplatzseiten über Proxies und passen Sie den Proxy-Typ an, wie geschützt jedes Ziel ist: günstige Datacenter-IPs für nachsichtiges JSON, Wohn- oder eine Scraper API für die geschützten Seiten. Erfassen Sie nach einem Rhythmus, versehen Sie alles mit Zeitstempeln, normalisieren Sie in eine Form, und Sie haben einen Feed, der den gesamten Markt sieht, nicht nur die Coins, die eine Börse zufällig listet.

Beginnen Sie mit der Datensammlung mit QuantumProxies