Scraping von Autolisten: Cars.com, Autotrader und CarGurus für Preisinformationen
Händlerpreis-Informationen finden sich auf Cars.com, Autotrader und CarGurus – dieselben Autos, unterschiedlich bepreist nach Postleitzahl und überall cross-gepostet. So scrapen Sie sie, deduplizieren nach VIN und überwinden die Anti-Bot-Schutzmaßnahmen.
Händlerpreis-Intelligenz ist nicht an einem Ort zu finden. Dasselbe Gebrauchtfahrzeug wird gleichzeitig auf Cars.com, Autotrader und CarGurus gelistet, unterschiedlich bepreist je nach Postleitzahl des Käufers, und jede Seite schützt ihre Seiten mit Anti-Bot-Maßnahmen. Erfolgreiches Scraping geht weniger darum, eine Seite zu parsen, als vielmehr um drei Dinge: Suchfilter so einzustellen, dass Sie tatsächlich jede Liste erreichen, das gleiche Fahrzeug über Quellen hinweg nach VIN zu deduplizieren und die Schutzmaßnahmen zu überwinden, ohne eine Flotte verbrannter IPs. Dieser Leitfaden deckt alle drei ab, mit Code, den Sie an jede der großen Listenseiten anpassen können.
Was eine Autoliste Ihnen bietet
Jede Fahrzeugliste ist ein dichtes Datensatz, sobald Sie sie parsen: Jahr, Marke, Modell und Ausstattung; Preis und Kilometerstand; die VIN; Karosserietyp, Antrieb, Kraftstoff, Getriebe, Zylinder und Türen; Innen- und Außenfarbe; eine Lagernummer; die Merkmalsliste; Bilder; und Händlerinformationen plus eine Deal-Bewertung auf Seiten, die eine berechnen. Das ist ein vollständiger Bewertungsdatensatz pro Zeile. Die Felder, um die Sie Ihre Pipeline aufbauen, sind Preis, Kilometerstand, VIN und Händler – alles andere ist Anreicherung.
Zuerst filtern: jede Liste erreichen
Listenseiten paginieren in festen Seitengrößen (meist 20 pro Seite) und begrenzen, wie tief eine einzelne Suche geht – oft bei insgesamt rund 1.000 Ergebnissen. Wenn eine Suche mehr Autos als das ergibt, sind die zusätzlichen einfach nicht über die Paginierung erreichbar. Die Lösung ist Segmentierung: Teilen Sie eine breite Suche in engere nach Marke, Modell, Jahrgang, Preisspanne oder Postleitzahl, sodass jede unter dem Limit bleibt, und vereinigen Sie dann die Ergebnisse. Cars.com kodiert all dies nützlich in der URL, sodass Sie Suchen programmatisch erstellen können.
from urllib.parse import urlencode
def search_url(zip_code, make="", model="", max_price="", year_min=""):
params = {
"stock_type": "used",
"makes[]": make,
"models[]": model,
"list_price_max": max_price,
"year_min": year_min,
"maximum_distance": "all",
"zip": zip_code,
"page_size": 20,
"sort": "listed_at_desc",
}
return "https://www.cars.com/shopping/results/?" + urlencode(params)
print(search_url("10001", make="toyota", model="camry", year_min=2020))
Die Wand überwinden: Residential Proxies
Cars.com sitzt hinter Cloudflare; andere Automobilseiten verwenden Imperva mit hCaptcha oder reCAPTCHA, die bei Belastung ausgelöst werden. Eine Datacenter-IP, die Listenseiten hämmert, wird schnell herausgefordert. Residential Proxies von echten ISPs sehen aus wie gewöhnliche Käufer, und durch Rotation werden Anfragen so verteilt, dass keine einzelne Adresse das Ratenlimit auslöst. Halten Sie eine Verzögerung von 2-5 Sekunden zwischen den Anfragen – das Timing ist genauso wichtig wie die IP. Für kleine, gelegentliche Abrufe ist ein Datacenter-Pool in Ordnung; für kontinuierliches Monitoring im großen Maßstab ist Residential der Unterschied zwischen einem Lauf, der abgeschlossen wird, und einem, der an einem CAPTCHA hängen bleibt.
import requests, time, random
PROXY = "http://USER:PASS@gate.quantumproxies.io:8000"
proxies = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}
def fetch(url):
r = requests.get(url, proxies=proxies, headers=HEADERS, timeout=20)
r.raise_for_status()
time.sleep(random.uniform(2, 5)) # polite, and harder to fingerprint
return r.textWenn das Ziel Listings mit JavaScript rendert oder hartnäckige CAPTCHAs wirft, ist eine Scraper API, die einen echten Browser-Fingerabdruck trägt und die Anti-Bot-Schicht für Sie löst, weniger anfällig, als eine eigene Browserfarm zu unterhalten. Unser Leitfaden zum Überwinden von Cloudflare im Jahr 2026 behandelt, wo diese Grenze liegt.
Holen Sie sich Residential Proxies für Autolisten-Seiten
Deduplizieren Sie nach VIN über Quellen hinweg
Die nützlichste Spalte in Automobildaten ist die VIN. Da Händler dasselbe Auto auf jedem Marktplatz cross-posten, ist Ihr Roh-Scrape voller Duplikate, die wie separate Listen aussehen. Die VIN ist ein weltweit eindeutiger Identifikator für das physische Fahrzeug, sodass das Schlüsselwort darauf diese Duplikate zu einem Datensatz zusammenfasst – und es Ihnen ermöglicht, zu vergleichen, wie dasselbe Auto auf Cars.com, Autotrader und CarGurus bepreist ist oder von welchem Händler. Behalten Sie den niedrigsten Preis pro VIN oder behalten Sie alle mit Quellen-Tags, je nachdem, was Sie messen.
def dedupe_by_vin(rows):
best = {}
for r in rows:
vin = r.get("vin")
if not vin:
continue
price = int(r["price"])
if vin not in best or price < int(best[vin]["price"]):
best[vin] = r # keep the cheapest listing per car
return list(best.values())
Geo-Pricing: dasselbe Auto, unterschiedliche Postleitzahl
Automobilpreise sind lokal. Dasselbe Modell zeigt unterschiedliche Preise und Bestände, je nachdem, von welcher Postleitzahl aus Sie suchen, da Händler und Nachfrage je nach Region variieren. Um diese Streuung zu erfassen, durchsuchen Sie eine Reihe von Postleitzahlen und leiten Sie, wo die Seite nach dem Standort des Besuchers personalisiert, jede Anfrage durch einen Exit in der passenden Region. Ein Residential Pool mit Land- und Stadttargeting lässt Sie Preise so sehen, wie es ein lokaler Käufer tut – unerlässlich für Arbitrage, Händler-Benchmarking oder den Aufbau eines Bewertungsmodells, das nicht auf einen Markt verzerrt ist.
zips = ["10001", "90001", "60601", "77001"] # NY, LA, Chicago, Houston
spread = {}
for z in zips:
url = search_url(z, make="toyota", model="camry", year_min=2021)
rows = parse_listings(fetch(url)) # exit geo-matched to the ZIP
spread[z] = [int(r["price"]) for r in rows]
# now compare median price by market
for z, prices in spread.items():
prices.sort()
print(z, "median", prices[len(prices)//2])Dies ist dasselbe standortbasierte Muster hinter Wettbewerber-Preisüberwachung und Immobiliendatensammlung – wo immer der Preis davon abhängt, wo der Käufer sitzt, sind geo-targeted Exits unverzichtbar.
Auktions- und Großhandelsquellen
Einzelhandelslistenseiten zeigen, was Händler verlangen; Auktionsplattformen wie Copart zeigen, für was Autos tatsächlich auf Großhandelsebene den Besitzer wechseln – die andere Hälfte eines Preismodells. Diese Seiten sind stärker geschützt: Copart beispielsweise verwendet Imperva-Webschutz mit Verhaltens-Fingerprinting, und hCaptcha- oder reCAPTCHA-Herausforderungen erscheinen bei höheren Anfragevolumina. Auch die Paginierung ist enger – 20 Fahrzeuge pro Seite mit einem harten Limit von etwa 50 Seiten, sodass eine einzelne Suche bei ungefähr 1.000 Losen gedeckelt ist. Um ein vollständiges Inventar zu erreichen, müssen Anfragen nach Marke, Modell, Jahrgang, Auktionshof oder Zustand segmentiert werden, genau wie bei Einzelhandelsseiten, und jede Segmentierung für sich ausgeführt werden.
Da diese Plattformen Ergebnisse und Paginierung mit JavaScript laden und verdächtigen Traffic herausfordern, benötigen sie Residential IPs und einen Abstand von 2-5 Sekunden zwischen den Anfragen als Minimum. Datacenter-Proxies bewältigen kleine, gelegentliche Abrufe; alles Nachhaltige gehört auf Residential Exits. Der Lohn ist echtes Signal: Gebotsverlauf, Verkaufsstatus und Loszustand speisen Nachfrageprognosen und Export-Import-Analysen, die Einzelhandelspreise allein nicht bieten können.
Überwachen, nicht nur einmal scrapen
Ein einmaliger Dump altert sofort in einem Markt, in dem sich Listen täglich ändern. Das dauerhafte Muster ist ein geplanter Scrape, der Ihre Zielsuche aufnimmt und aufeinanderfolgende Läufe differenziert – neue Listen, Preisrückgänge und verkaufte Autos. Schlüssel jede Zeile nach VIN, sodass eine Preisänderung beim selben Fahrzeug eindeutig ist, stempeln Sie jeden Snapshot mit einem Zeitstempel, und Sie haben eine Zeitreihe, die Sie verfolgen können: wie schnell bestimmte Modelle an Wert verlieren, welche Händler Preise senken, wo sich Bestände aufbauen. Leiten Sie diese geplanten Läufe durch rotierende Residential IPs, sodass ein täglicher Job von derselben Adresse nicht langsam einen Block verdient.
Häufig gestellte Fragen
Können Sie Cars.com und Autotrader scrapen?
Ja – die Listenseiten zeigen öffentlich verfügbare Fahrzeugdaten. Die praktische Herausforderung ist der Anti-Bot-Schutz: Cars.com verwendet Cloudflare und andere verwenden Imperva mit CAPTCHAs. Residential Proxies, realistische Header und eine Verzögerung von 2-5 Sekunden zwischen den Anfragen halten einen Scrape am Laufen. Respektieren Sie die Nutzungsbedingungen jeder Seite und vermeiden Sie das Sammeln persönlicher Daten.
Wie vermeide ich es, beim Scrapen von Autolisten blockiert zu werden?
Rotieren Sie Residential IPs, sodass keine einzelne Adresse zu viele Anfragen stellt, takten Sie Anfragen mit einer zufälligen Verzögerung von 2-5 Sekunden, senden Sie einen realen Browser-User-Agent und segmentieren Sie große Suchen in kleinere, anstatt Tausende tief zu paginieren. Wenn CAPTCHAs bestehen bleiben, wechseln Sie zu einer Scraper API, die die Anti-Bot-Schicht und das JavaScript-Rendering übernimmt.
Warum bekomme ich doppelte Autos beim Scrapen?
Händler cross-posten dasselbe Fahrzeug auf mehreren Marktplätzen, sodass ein physisches Auto als mehrere Listen erscheint. Deduplizieren Sie nach der VIN, die das Fahrzeug unabhängig von der Seite eindeutig identifiziert. Das Schlüsselwort nach VIN verwandelt Duplikate in einen Preisvergleich für dasselbe Auto über Quellen hinweg, anstatt aufgeblähte Zählungen.
Ändern sich Autopreise wirklich nach Standort?
Ja. Bestände und Preise variieren je nach Region, und viele Seiten personalisieren Ergebnisse nach der Postleitzahl des Suchenden. Um die tatsächliche Streuung zu erfassen, suchen Sie mehrere Postleitzahlen und leiten Sie jede Anfrage durch einen Exit in der passenden Region mit geo-targeted Residential Proxies, sodass Sie lokale Preise sehen, anstatt einer verzerrten nationalen Ansicht.
Das Scraping von Automobillisten läuft darauf hinaus, jedes Auto zu erreichen (Segmentierung über das ~1.000-Ergebnis-Limit hinaus), die Anti-Bot-Wand zu überwinden (rotierende Residential IPs, höfliches Timing), Duplikate nach VIN zu reduzieren und geobasierte Streuungen mit standortbasierten Exits zu erfassen. Bauen Sie die Pipeline um Preis, Kilometerstand, VIN und Händler, und Sie haben Händlerpreis-Intelligenz über alle großen Marktplätze hinweg auf einmal.
Beginnen Sie mit dem Scraping von Autolisten mit QuantumProxies