Scraping danych rynkowych kryptowalut i NFT poza API giełd
API giełd są ograniczone limitem i obejmują tylko monety, które notują. Pary DEX, ceny minimalne NFT i kalendarze mintów znajdują się na stronach z dużą ilością JavaScriptu za ochroną przed botami. Oto jak zbierać to wszystko niezawodnie.
Dane rynkowe kryptowalut wydają się proste — przecież każda giełda ma API? Mają, ale te API są ograniczone limitem, obejmują tylko aktywa notowane przez giełdę i nie mówią nic o dwóch miejscach, gdzie znajduje się wiele alfa: parach zdecentralizowanych giełd (DEX) i rynkach NFT. Jeśli budujesz tracker cen, bota do notowań lub kanał alt-danych, szybko osiągniesz limit API i będziesz musiał scrapować resztę. Ten przewodnik obejmuje warstwy danych kryptowalut i NFT, kiedy używać API a kiedy scrapować, oraz konfigurację proxy, która utrzymuje działający kanał w czasie rzeczywistym. Chodzi o zbieranie danych, nie o porady inwestycyjne.
Trzy warstwy danych rynkowych
Pomyśl o danych w trzech poziomach. Dane z giełd centralnych i agregatorów — cena, kapitalizacja rynkowa, podaż w obiegu, wolumen 24h i zmiany 1h/24h/7d — to to, co pokazują strony takie jak CoinMarketCap i CoinGecko, i są najłatwiejsze do zdobycia. Dane DEX — ceny par na żywo, płynność, nowe notowania — znajdują się na stronach renderowanych w JavaScript i rzadko mają czyste darmowe API. Dane NFT — ceny minimalne, liczba notowań, kalendarze mintów — znajdują się na stronach rynków, które renderują się po stronie klienta i uruchamiają ochronę przed botami. Większość projektów potrzebuje co najmniej dwóch z tych poziomów, dlatego samo API nigdy cię nie pokryje.
Zacznij od API agregatora
Dla danych CEX z najwyższej półki, najpierw użyj publicznego API agregatora — to darmowy JSON, szybki i już znormalizowany. Haczyk to limit: darmowe poziomy ograniczają cię do skromnej liczby wywołań na minutę, co rozpada się, gdy często sondować setki aktywów. Pobierz masowy zrzut w jak najmniejszej liczbie wywołań, a potem scrapuj długi ogon, którego API nie obejmuje.
import requests
# one call returns the top 100 by market cap, already normalised
r = requests.get(
"https://api.coingecko.com/api/v3/coins/markets",
params={"vs_currency": "usd", "order": "market_cap_desc",
"per_page": 100, "page": 1},
timeout=15,
)
for c in r.json()[:5]:
print(c["symbol"], c["current_price"],
c["total_volume"], c["price_change_percentage_24h"])Gdy przekroczysz darmowy limit, rozłóż żądania na obracające się adresy IP, aby limit na IP przestał być twoim sufitem. Ponieważ punkty końcowe agregatorów są podobne do API i elastyczne, szybkie proxy centrów danych są tutaj ekonomicznym wyborem — tanie, szybkie i wystarczające do równoległego sondowania bez przekraczania limitów.
Pary DEX i strony giełdowe: renderuj JavaScript
Strony par DEX i wiele stron rynków giełdowych rysują swoje ceny i wykresy za pomocą JavaScriptu za agresywną ochroną przed botami — surowe żądanie HTTP daje pustą powłokę. Aby odczytać ceny par na żywo, płynność lub pełny widok handlowy tokena, renderuj stronę w przeglądarce bezgłowej skierowanej przez proxy. Czekaj na element ceny zamiast na stałe uśpienie i obracaj adres IP wyjścia na każde uruchomienie, aby punkt końcowy nie odciskał palca powtarzającego się odwiedzającego.
from playwright.sync_api import sync_playwright
PROXY = {"server": "http://gate.quantumproxies.io:8000",
"username": "USER", "password": "PASS"}
def pair_price(url, selector):
with sync_playwright() as p:
browser = p.chromium.launch(proxy=PROXY)
page = browser.new_page()
page.goto(url, wait_until="networkidle", timeout=30000)
page.wait_for_selector(selector) # wait for the price to render
price = page.inner_text(selector)
browser.close()
return priceJeśli renderujesz wiele z nich, utrzymanie floty przeglądarek plus rotacja proxy staje się ciężkie. Scraper API renderuje JavaScript, pokonuje warstwę botów i zwraca czyste dane w jednym wywołaniu — nasza notatka o scrapingu stron z dużą ilością JavaScriptu wyjaśnia, kiedy się przełączyć.
Renderuj strony kryptowalut z dużą ilością JS za pomocą Scraper API
Ceny minimalne NFT i kalendarze mintów
Dane NFT to to, na czym działają boty notowań i zamiatacze cen minimalnych: aktualna cena minimalna kolekcji, ile jest notowanych i kiedy nowe minty wchodzą na żywo. Strony rynków renderują się po stronie klienta, więc niezawodnym podejściem jest robienie zrzutów ceny minimalnej kolekcji w ścisłym harmonogramie i porównywanie ich — spadek ceny minimalnej lub wzrost liczby notowań to sygnał, na który reagują traderzy. Kalendarze mintów to ten sam wzorzec zastosowany do nadchodzących dropów: sondowanie kalendarza, uchwycenie nowych wpisów i alarmowanie o tych, które cię interesują.
import time
def watch_floor(collection_url, selector, interval=60):
last = None
while True:
floor = float(pair_price(collection_url, selector).strip(" ETH"))
if last is not None and floor < last:
print(f"floor dropped {last} -> {floor}") # act on the dip
last = floor
time.sleep(interval) # snapshot cadenceTo tutaj boty notowań żyją lub umierają na swoich danych. Bot snajperski, który reaguje na spadek ceny minimalnej lub nowe notowanie, jest tylko tak szybki, jak jego kanał, a kanał, który jest ograniczony limitem lub blokowany, jest bezwartościowy. Boty, które wygrywają, agresywnie sondować swoje docelowe kolekcje, z czystych obracających się IP, i normalizować wszystko w jedną formę — kolekcja, cena, waluta, znacznik czasu — aby spadek był porównywalny między rynkami. Problem scrapingu i problem handlowy to ten sam problem: utrzymuj dane świeże i nigdy nie daj się odciąć od źródła.
Które proxy dla której warstwy
Dopasuj proxy do celu. Punkty końcowe agregatorów i publiczne JSON są elastyczne — szybkie, tanie proxy centrów danych z rotacją obsługują je i utrzymują niskie koszty na GB. Strony DEX, widoki rynków giełdowych i rynki NFT uruchamiają prawdziwą ochronę przed botami, więc te chcą adresów IP rezydencyjnych lub Scraper API, które przenosi odcisk palca przeglądarki. Błąd, którego należy unikać, to płacenie za przepustowość rezydencyjną na punktach końcowych, które chętnie obsłużyłyby IP centrum danych — to omówione jest w naszym przewodniku, kiedy wygrywają proxy centrów danych. A ponieważ te kanały zasilają strategie alt-danych, ta sama dyscyplina zbierania z naszego przewodnika po alt-danych dla funduszy ma zastosowanie: oznaczaj wszystko czasem i rób zrzuty w stałym rytmie.
Najczęściej zadawane pytania
Dlaczego scrapować dane kryptowalut, skoro giełdy mają API?
API giełd są ograniczone limitem i obejmują tylko aktywa notowane przez giełdę. Nie udostępniają cen par DEX, cen minimalnych NFT ani kalendarzy mintów, a darmowe poziomy ograniczają twoją liczbę wywołań. Scraping wypełnia te luki — długi ogon tokenów, zdecentralizowane rynki i dane rynkowe — i pozwala agregować z źródeł, których API nigdy nie łączą.
Czy potrzebuję proxy do scrapowania danych kryptowalut i NFT?
Do lekkiego użycia publicznego API, nie. Do częstego sondowania lub scrapowania stron DEX i NFT, tak. Punkty końcowe agregatorów ograniczają cię na IP, więc obracające się proxy centrów danych zwiększają twoją przepustowość. Strony DEX i rynków uruchamiają ochronę przed botami, co wymaga adresów IP rezydencyjnych lub Scraper API, które renderuje JavaScript i przenosi odcisk palca przeglądarki.
Jak scrapować ceny minimalne NFT?
Strony kolekcji rynków renderują się po stronie klienta, więc renderuj stronę w przeglądarce bezgłowej przez proxy, czekaj na element ceny minimalnej i rób zrzuty w harmonogramie. Porównuj kolejne zrzuty, aby wychwycić spadki i skoki notowań. Obracaj adresy IP wyjścia na każde uruchomienie i dostosuj tempo sondowania, aby rynek nie oznaczył powtarzającego się odwiedzającego.
Jak często powinienem robić zrzuty cen kryptowalut?
To zależy od przypadku użycia. Śledzenie portfela jest w porządku w minutach; monitorowanie par DEX i cen minimalnych NFT dla sygnałów handlowych często wymaga ciaśniejszych interwałów, do sekund dla najbardziej aktywnych par. Szybsze sondowanie zwiększa twoją liczbę żądań i ryzyko blokady, więc rozłóż je na obracające się IP i przechowuj znaczniki czasu, aby odtworzyć serię.
Dane rynkowe kryptowalut i NFT obejmują trzy poziomy — agregatory CEX, pary DEX, ceny minimalne i minty NFT — i żadne pojedyncze API ich nie obejmuje. Zacznij od agregatora dla czystych zrzutów CEX, renderuj strony DEX i rynków z dużą ilością JS przez proxy i dopasuj typ proxy do tego, jak chroniony jest każdy cel: tanie IP centrów danych dla elastycznych JSON, rezydencyjne lub Scraper API dla chronionych stron. Rób zrzuty w rytmie, oznaczaj wszystko czasem, normalizuj w jedną formę, a będziesz miał kanał, który widzi cały rynek, a nie tylko monety, które jedna giełda akurat notuje.