Jak zeskrobać dane odsprzedaży z StockX i GOAT do badań rynkowych

Oficjalne API StockX jest przeznaczone dla sprzedawców i ograniczone do 25 000 wywołań dziennie. Do badań rynkowych należy sięgnąć po publiczne strony — oto jak czysto wyodrębnić historię cen, rozkłady rozmiarów i sygnały popularności.

Odsprzedaż butów to prawdziwy rynek z realnym odkrywaniem cen, a StockX i GOAT to jego dwa największe księgi zamówień. Jeśli chcesz badać ten rynek — śledzić historię cen, mierzyć rozkłady rozmiarów, zauważać, które wydania zyskują na popularności — instynkt podpowiada sięgnąć po oficjalne API StockX. To zazwyczaj niewłaściwe narzędzie. API dla deweloperów StockX jest przeznaczone dla sprzedawców: uwierzytelnia się za pomocą OAuth 2.0 za bramką zatwierdzenia, istnieje, aby umieszczać i zarządzać ofertami i zamówieniami, i jest ograniczone do 25 000 żądań na 24 godziny przy jednym żądaniu na sekundę, z twardym 429 w momencie przekroczenia. Daje sprzedawcy jego własny inwentarz, a nie badaczowi cały rynek. Do badań rynkowych dane znajdują się na publicznych stronach produktów. Ten przewodnik pokazuje, jak je czysto zbierać.

Dlaczego oficjalne API StockX jest niewłaściwym narzędziem do badań

Portal dla deweloperów jasno określa swoje przeznaczenie: wyszukiwanie katalogu, zarządzanie ofertami i zamówieniami. Nawet sprzedawcy na platformie zgłaszają długie oczekiwanie i odrzucenia przy uzyskiwaniu dostępu do API. A limit wywołań — 25 000 dziennie, operacje wsadowe ograniczone do 500 pozycji co 5 minut do 50 000 pozycji dziennie — jest hojny dla prowadzenia własnego sklepu, ale niewielki dla badania tysięcy stylów w różnych rozmiarach i na obu rynkach. Co istotne, nie dostarcza historycznego strumienia danych rynkowych: liczby, które chce badacz — roczne maksima i minima, zmienność, premia cenowa nad detalem, szybkość sprzedaży na rozmiar — są obliczane i wyświetlane na publicznych stronach, a nie udostępniane jako masowy punkt końcowy do badań.

Podział praktyczny jest więc prosty. Używaj oficjalnego API, jeśli jesteś sprzedawcą automatyzującym swoje zapytania. Używaj publicznych stron, zbieranych odpowiedzialnie, jeśli prowadzisz badania cenowe lub trendowe. Ta sama logika dotyczy odsprzedaży i detalicznej — omawiamy ogólną wersję w monitorowaniu cen na dużą skalę.

Istnieje również problem zasięgu, którego API nie może rozwiązać. Ceny odsprzedaży są wrażliwe na geolokalizację: ta sama para ma inną premię na rynku amerykańskim niż na europejskim czy japońskim, ponieważ podaż, podatki i popyt różnią się w zależności od regionu. Badacz mierzący globalny rynek musi odczytać każdy produkt z kilku krajów, czego API dla sprzedawców nie jest zaprojektowane do obsługi, ale co rotacyjna pula rezydencyjna z ukierunkowaniem na kraj obsługuje domyślnie. Ta geograficzna perspektywa często kryje interesujące arbitraże.

Jakie dane zawiera strona produktu StockX lub GOAT

Każda strona produktu zawiera zaskakująco bogaty ładunek, gdy przeanalizujesz osadzony JSON, który ją zasila. Na styl możesz odczytać stabilne SKU i UPC, a na rozmiar cały wycinek księgi zamówień:

Porównanie oficjalnego API StockX z zeskrobywaniem publicznych stron produktów dla badań rynku butów, pokazujące limity wywołań w porównaniu do dostępnych sygnałów
Oficjalne API to narzędzie sprzedażowe ograniczone do 25 000 wywołań dziennie; publiczne strony zawierają historię cen, rozkłady na poziomie rozmiaru i szybkość, które są rzeczywiście potrzebne do badań rynkowych.

Pobieranie stron bez blokady

StockX i GOAT są chronione przez zaawansowane zarządzanie botami, a adres IP z centrum danych, który wielokrotnie uderza w JSON produktu, jest wyzwaniem w ciągu kilku żądań. Dwie rzeczy utrzymują zbieranie przy życiu: rezydencyjne adresy IP, które wyglądają jak zwykli kupujący, oraz rotacja przy każdym żądaniu, aby żaden pojedynczy adres nie tworzył podejrzanego wzorca. Dzięki rezydencyjnym proxy — 90M+ IP w ponad 200 krajach — każde żądanie pochodzi z innego adresu domowego:

import requests, json

proxies = {
    "http":  "http://USER:PASS@gate.quantumproxies.io:PORT",
    "https": "http://USER:PASS@gate.quantumproxies.io:PORT",
}
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)"}

url = "https://stockx.com/air-jordan-1-retro-high-og-example"
html = requests.get(url, proxies=proxies, headers=headers, timeout=(5, 30)).text

# Product data hydrates from an embedded JSON blob, not the visible HTML.
start = html.find('{"props":')
blob = json.loads(html[start:html.rindex("}", 0, html.find("</script>", start)) + 1])
# Walk blob -> product -> market to reach asks, bids and statistics.

Gdy strona zwraca prawie pustą powłokę zamiast JSON, została obsłużona wersja renderowana po stronie klienta lub wyzwanie — symptom, który rozkładamy w pusta strona, brakujące dane. To moment, aby przejść od surowych proxy do zarządzanego pobierania. Scraper API renderuje JavaScript na żądanie i zwraca czysty JSON lub markdown, dzięki czemu nie musisz samodzielnie utrzymywać przeglądarek bezgłowych i parserów:

curl -G "https://api.quantumproxies.io/scrape" \
  --data-urlencode "url=https://stockx.com/air-jordan-1-retro-high-og-example" \
  --data-urlencode "render=true" \
  --data-urlencode "country=us" \
  -H "Authorization: Bearer YOUR_API_KEY"

Przekształcanie surowych zapytań w sygnały badawcze

Gdy warianty są przeanalizowane, analiza to mała arytmetyka, która zamienia ścianę liczb w decyzje. Rozkład rozmiarów — różnica między najtańszym a najdroższym rozmiarem — ujawnia, które rozmiary są rzadkie, a premia nad detalem oddziela prawdziwy szum od marketingowego hałasu:

def size_spread(variants):
    asks = [v["lowest_ask"] for v in variants if v.get("lowest_ask")]
    return {
        "cheapest_size": min(asks),
        "priciest_size": max(asks),
        "spread_pct": round((max(asks) - min(asks)) / min(asks) * 100, 1),
    }

def hype_score(stats, retail):
    premium = (stats["annual_average_price"] - retail) / retail
    return round(premium * 100, 1)  # % over retail; negative = a dud

Uruchom to na liście obserwacyjnej w codziennym harmonogramie, a będziesz mieć indeks odsprzedaży: rosnąca szybkość i rozszerzająca się premia to wczesny sygnał popularności, podczas gdy spadająca sprzedaż i malejąca premia oznaczają zanik. Krzyżowe porównanie StockX z GOAT dla tego samego SKU ujawnia arbitraż i potwierdza, która platforma prowadzi odkrywanie cen dla danej kategorii. Jeśli twoja lista obserwacyjna obejmuje tysiące stylów, kontroluj rachunek za pomocą taktyk w zmniejszanie kosztów przepustowości proxy — rzadko potrzebujesz obrazów, tylko JSON.

Jedna uwaga dotycząca postępowania: to badania rynkowe na publicznych, nieosobowych danych cenowych, co jest niskim ryzykiem zeskrobywania, ale nadal powinieneś szanować warunki korzystania z każdej platformy i ograniczać się uprzejmie. To jest wskazówka, a nie porada prawna.

Panel statystyczny pól danych odsprzedaży butów: 25 000 dziennych limitów API, 25 procent średniej premii cenowej, okna sprzedaży 15 do 60 dni i rok historii cen
Sygnały, które mają znaczenie, to szybkość i premia: para z dużym zainteresowaniem jest znacznie powyżej detalicznej z szybką sprzedażą, nieudana para jest poniżej niej i zatrzymuje się.

Często zadawane pytania

Czy StockX ma oficjalne API?

Tak, ale jest to narzędzie dla sprzedawców, a nie usługa danych rynkowych. API dla deweloperów StockX uwierzytelnia się za pomocą OAuth 2.0 za procesem zatwierdzenia i obejmuje wyszukiwanie katalogu, zarządzanie ofertami i zamówieniami. Jest ograniczone do 25 000 żądań na 24 godziny przy jednym żądaniu na sekundę i zwraca twoją własną aktywność sprzedażową, a nie masowy historyczny strumień danych szerszego rynku.

Czy GOAT ma API do cen butów?

GOAT nie oferuje publicznego API cenowego dla badaczy. Agregatory zewnętrzne i projekty open-source pobierają dane GOAT, zeskrobując jego publiczne strony, co jest podejściem, które zastosowałbyś również dla StockX. Ponieważ obie platformy używają silnego zarządzania botami, niezawodne zbieranie zależy od rezydencyjnych IP i rotacji przy każdym żądaniu, a nie od punktu końcowego centrum danych.

Jakie dane o butach mogę uzyskać bez oficjalnego API?

Publiczne strony produktów ujawniają najniższe zapytanie i najwyższą ofertę na rozmiar, całkowitą liczbę zapytań, liczbę sprzedaży w oknach 15, 30 i 60-dniowych, roczne najwyższe/najniższe/średnie ceny, wskaźnik zmienności, tygodniową szybkość zamówień i stabilne identyfikatory SKU/UPC. To wystarczy, aby zbudować historię cen, analizę rozkładu rozmiarów i indeks popularności bez konieczności korzystania z API dla sprzedawców.

Jak uniknąć blokady przy zeskrobywaniu StockX?

Używaj rezydencyjnych proxy, aby żądania wyglądały jak zwykli kupujący, rotuj adres wyjściowy przy każdym żądaniu, ustaw realistyczny User-Agent i zachowaj tempo. Gdy strony zwracają pustą powłokę zamiast osadzonego JSON, przełącz się na API renderujące scraper, które wykonuje JavaScript strony i zwraca dane strukturalne, zamiast samodzielnie walczyć z wyzwaniem.

Rynek odsprzedaży nagradza tego, kto najlepiej go mierzy. Oficjalne API nie dostarczy ci tego pomiaru — nigdy nie było do tego przeznaczone. Publiczne strony, zbierane na czystych rezydencyjnych IP i zredukowane do szybkości i premii, zamieniają chaotyczną księgę zamówień w sygnał, na którym można podejmować decyzje badawcze.

Pobierz czyste dane o butach za pomocą Scraper API