curl_cffi vs requests: Was es behebt und was nicht

Der Wechsel von requests zu curl_cffi verwandelt viele 403er in 200er. Es hilft jedoch nicht bei einer verbrannten IP. Hier ist die Grenze zwischen den beiden und ein fünfzehnminütiger Test, der Ihnen sagt, auf welcher Seite Ihr Problem liegt.

Die Frage curl_cffi vs requests taucht meist mitten im Vorfall auf: Ein Scraper, der monatelang lief, beginnt beim ersten Aufruf 403 zurückzugeben, jemand auf Reddit sagt, man solle den Client wechseln, und es funktioniert. Das ist ein echter Effekt mit einer echten Erklärung — aber die Art und Weise, wie es wiederholt wird ("einfach curl_cffi verwenden"), verbirgt sowohl, was passiert, als auch, wo es aufhört zu helfen. requests ist weder langsam noch schlecht geschrieben. Es hat genau einen Nachteil im Scraping-Kontext, der groß ist, und er hat nichts mit der API zu tun, die Sie eingeben. Hier unterscheiden sich die beiden Clients wirklich, was sich ändert, wenn Sie wechseln, und die eine Sache, die Imitation niemals beheben wird, egal welche Bibliothek Sie wählen.

Der eine Unterschied, der zählt

Beide Bibliotheken senden die gleichen Header. Der Unterschied liegt eine Ebene tiefer, im TLS-Handshake, der die Verbindung öffnet, bevor ein einziges HTTP-Byte übertragen wird. requests basiert auf urllib3 und OpenSSL, die eine Cipher-Liste, Erweiterungssatz und Reihenfolge anzeigen, die zu Python und nichts anderem gehören. curl_cffi ist eine Bindung an einen gepatchten Fork von curl, der das ClientHello eines Browsers Byte für Byte reproduziert, zusammen mit seinem HTTP/2 SETTINGS-Frame — sodass seine JA3-, JA3N- und Akamai-Hashes mit echtem Chrome übereinstimmen, anstatt mit einer Skriptbibliothek. Anti-Bot-Anbieter führen Datenbanken dieser Signaturen; eine Diskrepanz zwischen einem Chrome User-Agent-Header und einem Python-Handshake ist ein Widerspruch, den man nicht wegdiskutieren kann. Wir haben die Mechanik in JA3 und JA4 Fingerprinting aufgeschlüsselt, und derselbe Effekt erklärt, warum curl einen 403 erhält, wo Ihr Browser einen 200 auf derselben URL erhält.

Alles andere im Vergleich ergibt sich aus der Implementierung. Da curl_cffi libcurl umschließt, erbt es HTTP/2, HTTP/3, Websockets und asyncio, die requests nie unterstützt hat. Da requests reines Python ist, lässt es sich auf allem installieren und hat ein Jahrzehnt an Ökosystem hinter sich. Beide Aussagen sind gleichzeitig wahr, und welche dominiert, hängt ganz von Ihrem Ziel ab.

Ein reproduzierbarer Test, den Sie in fünf Minuten durchführen können

Glauben Sie keiner Erfolgsrate-Tabelle blind, auch unserer nicht. Der Fingerabdruckunterschied ist direkt beobachtbar: Zeigen Sie beide Clients auf einen TLS-Echo-Endpunkt und vergleichen Sie die zurückgemeldeten Hashes. Wenn die beiden Zeilen übereinstimmen, imitiert Ihr Build nichts.

# pip install requests curl_cffi
import requests
import curl_cffi

URL = "https://tls.browserleaks.com/json"

a = requests.get(URL, timeout=30).json()
b = curl_cffi.get(URL, impersonate="chrome", timeout=30).json()

print("requests   ja3n:", a["ja3n_hash"], "| akamai:", a.get("akamai_hash", "-"))
print("curl_cffi  ja3n:", b["ja3n_hash"], "| akamai:", b.get("akamai_hash", "-"))

# Two different ja3n hashes = impersonation is working. The curl_cffi README
# documents aa56c057ad164ec4fdcb7a5a283be9fc as a Chrome-matched ja3n value.
# The akamai (HTTP/2) fingerprint is usually empty for requests: it is
# HTTP/1.1 only, so there is no SETTINGS frame to fingerprint in the first place.

Seit v0.15 gibt es eine Einzeilerversion desselben Checks: curl-cffi get tls.browserleaks.com/json --impersonate chrome. Führen Sie es aus, bevor Sie etwas anderes debuggen — es trennt "meine Imitation ist falsch konfiguriert" von "meine Imitation ist in Ordnung und etwas anderes blockiert mich", was zwei völlig unterschiedliche Nachmittage sind.

Nebeneinander-Vergleich von requests und curl_cffi hinsichtlich Protokollunterstützung, Parallelität, Fingerprinting und Portabilität
requests gewinnt bei Portabilität und Ökosystem; curl_cffi gewinnt bei Protokollen und Fingerabdrücken. Keiner gewinnt bei der IP-Qualität — das ist kein Client-Feature.

Was curl_cffi nicht behebt: IP-Reputation

Hier ist der Teil, den der Rat, die Bibliothek zu wechseln, auslässt. Ein TLS-Fingerabdruck beantwortet die Frage "welche Software ist das?". Er sagt nichts über "woher kommt das?" — und diese zweite Frage wird durch eine separate Abfrage gegen Ihre Exit-IP beantwortet: welcher ASN besitzt sie, ist es ein Hosting-Anbieter oder ein Verbraucher-ISP, ist sie in Missbrauchsfeeds aufgetaucht, wie viele andere Sitzungen haben diese Seite in der letzten Stunde von derselben Adresse aus aufgerufen. Ein makelloser Chrome-Handshake, der von einer Cloud-VM in einem Rechenzentrumsbereich kommt, ist ein Chrome-Browser, der anscheinend in einem Server-Rack installiert wurde. Das ist nicht überzeugender als python-requests. In einigen Fällen ist es weniger, weil der Widerspruch schärfer ist.

Die FAQ des Projekts setzt die IP-Qualität an erster Stelle in ihrer Liste der Faktoren, vor Anforderungsrate und JavaScript-Fingerabdrücken, wenn sie erklärt, warum Imitation allein möglicherweise nicht ausreicht. Diese Reihenfolge ist kein Zufall: Reputation ist das billigste Signal für einen Verteidiger zu bewerten und das schwerste für einen Angreifer zu fälschen, weil man sie im Gegensatz zu einem Header oder einer Cipher-Liste nicht lokal erzeugen kann. Wenn Ihr auf requests basierender Scraper bereits durch einen Rechenzentrumspool lief und blockiert wurde, ändert der Wechsel zu curl_cffi im selben Pool einen von zwei fehlerhaften Prüfungen. Sie werden eine teilweise Verbesserung bei weichen Zielen und keine Verbesserung bei harten Zielen sehen — was genau das verwirrte Ergebnis ist, das Menschen berichten.

Die Lösung für diese Achse ist die Adressqualität, nicht der Code: residential IPs aus echten Verbraucher-ISP-Zuweisungen, was Ihnen 90M+ Adressen in über 200 Ländern bietet. Wenn Sie überprüfen möchten, wie Ihr aktueller Exit aussieht, bevor Sie etwas ändern, berichtet unser kostenloser IP-Qualitätsprüfer über den ASN und die Klassifizierung, die ein Ziel sehen würde.

Das 2x2, das Ihnen sagt, welche Achse defekt ist

Anstatt zu raten, testen Sie beide Variablen unabhängig an Ihrem echten Ziel. Vier Anfragen, vier Ausgabelinien, und das Ergebnis benennt Ihr Problem:

import requests
import curl_cffi

TARGET = "https://your-target.example/api/items"
DC  = "http://USER:PASS@your-datacenter-gateway:PORT"
RES = "http://USER:PASS@gate.quantumproxies.io:PORT"

def probe(label, fn):
    try:
        print(f"{label:26} -> {fn().status_code}")
    except Exception as e:
        print(f"{label:26} -> {type(e).__name__}")

probe("requests  + datacenter",
      lambda: requests.get(TARGET, proxies={"https": DC}, timeout=30))
probe("curl_cffi + datacenter",
      lambda: curl_cffi.get(TARGET, proxy=DC, impersonate="chrome", timeout=30))
probe("requests  + residential",
      lambda: requests.get(TARGET, proxies={"https": RES}, timeout=30))
probe("curl_cffi + residential",
      lambda: curl_cffi.get(TARGET, proxy=RES, impersonate="chrome", timeout=30))

Lesen Sie die vier Ergebnisse wie eine Wahrheitstabelle:

Führen Sie es ein paar Dutzend Mal aus, anstatt nur einmal. Beide Blockierungsebenen sind probabilistisch, und ein einzelner 200 sagt Ihnen fast nichts.

Testen Sie die Residential-Zeile mit echten Haushalts-IPs

Diagramm, das einen browserabgeglichenen TLS-Handshake von einer Rechenzentrums-IP zeigt, die blockiert wird, während derselbe Handshake von einer Residential-IP durchgeht
Imitation und IP-Reputation sind separate Tore. Das eine zu beheben und das andere zu lassen, ist der Grund, warum 'Ich bin zu curl_cffi gewechselt und nichts hat sich geändert' ein so häufiger Bericht ist.

Wenn die zusätzliche Abhängigkeit es nicht wert ist

Offenheit ist billiger als eine Neuschreibung. Bleiben Sie bei requests, wenn:

Und es gibt einen Mittelweg, den die meisten Menschen übersehen: Sie müssen requests nicht aufgeben, um den Handshake zu erhalten. Die Maintainer verweisen auf curl-adapter, der curl_cffi als requests-Transportadapter einbindet, und httpx-curl-cffi auf PyPI, das dasselbe für httpx tut. Sie behalten Ihren bestehenden Code und Ihr Ökosystem, und nur die Bytes auf der Leitung ändern sich.

Migrations-Fallen, die es wert sind, zuerst zu wissen

Die API ist nah genug, dass die meisten Skripte nach dem Ändern des Imports laufen, aber die Kompatibilitätsseite listet echte Unterschiede auf und es lohnt sich, sie zu lesen, bevor Sie einen großen Port durchführen. Umleitungsantwortkörper werden in Response.history nicht beibehalten. Cookies mit leeren Domains können über Umleitungen hinweg verloren gehen. Streaming-Antwortobjekte können nicht serialisiert werden, obwohl normale Antworten es können. Und es gibt überhaupt keine Transporte oder Adapter, weil die Bibliothek absichtlich an libcurl-impersonate geschweißt ist. Die Proxy-Konfiguration unterscheidet sich auch in einer kleinen Weise, die Menschen stolpern lässt:

# requests: dict, and retries mounted on an adapter
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

s = requests.Session()
s.mount("https://", HTTPAdapter(max_retries=Retry(total=4, status_forcelist=[429, 503])))
r = s.get(url, proxies={"https": "http://USER:PASS@gate.quantumproxies.io:PORT"}, timeout=30)

# curl_cffi: single proxy string preferred, retries are a session parameter
from curl_cffi import Session
from curl_cffi.requests import RetryStrategy

s = Session(
    impersonate="chrome",
    proxy="http://USER:PASS@gate.quantumproxies.io:PORT",
    retry=RetryStrategy(count=4, delay=1.0, backoff="exponential"),
    timeout=30,
)
r = s.get(url)  # note: retry fires on transport errors, not on 429/503

Die vollständige Proxy-Oberfläche — Dict-Schlüssel, proxy_auth, pro Anfrage Rotation, async und das https://-Präfix, das einen unhilfreichen WRONG_VERSION_NUMBER-Fehler erzeugt — wird Schritt für Schritt in unserem curl_cffi Proxy-Leitfaden behandelt. Wenn Sie bleiben, ist das entsprechende Nachschlagewerk für die andere Seite unser Python Requests Proxy-Leitfaden.

Häufig gestellte Fragen

Ist curl_cffi schneller als requests?

Ja, und die Benchmarks des Projekts setzen es auf eine Stufe mit aiohttp und pycurl, nicht mit requests. Der Gewinn kommt von libcurl, das die Arbeit in C erledigt, plus HTTP/2-Multiplexing, nicht von cleverem Python. Für eine Handvoll sequentieller Aufrufe ist der Unterschied unsichtbar; bei hoher Parallelität, insbesondere mit async, ist er erheblich.

Ist curl_cffi sicher zu verwenden?

Es ist MIT-lizenziert, weit verbreitet und liefert vorgefertigte Wheels, sodass es keinen Build-Schritt gibt, der überprüft werden muss. Eine Warnung ist es wert, beachtet zu werden: Eine v0.15.0-Beratung behandelt SSRF auf Umleitungsbasis. Wenn Sie URLs abrufen, die von anderen bereitgestellt werden, setzen Sie allow_redirects="safe" oder deaktivieren Sie Umleitungen. Die Imitation eines Browsers ist eine technische Maßnahme, keine Erlaubnis, die Bedingungen einer Seite zu ignorieren.

Umgeht curl_cffi Cloudflare?

Es entfernt den TLS- und HTTP/2-Fingerabdruckhinweis, der grundlegende Schutzstufen beseitigt. Es kann keine JavaScript-Herausforderung ausführen, Turnstile lösen oder eine markierte Exit-IP beheben. Die Maintainer sagen dies in ihren FAQ und empfehlen einen besseren Proxy-Pool plus Browser-Automatisierung für die höheren Ebenen.

curl_cffi vs httpx oder tls_client — welches sollte ich verwenden?

httpx bietet Ihnen HTTP/2 und async, aber keine Fingerabdruck-Imitation, daher liegt es zwischen requests und curl_cffi in Bezug auf Tarnung. tls_client fälscht auch TLS-Profile und hat ähnliche Benchmarks; curl_cffi hat die größere Community und fügt HTTP/3 und Websockets hinzu. Wenn httpx bereits in Ihrem Stack ist, bringt Ihnen der httpx-curl-cffi-Transport Imitation ohne Neuschreibung.

Die Kurzversion: Wechseln Sie zu curl_cffi, wenn Ihr Ziel Handshakes liest, bleiben Sie bei requests, wenn es das nicht tut, und erwarten Sie niemals, dass eine der beiden Entscheidungen eine Rechenzentrums-IP reinwäscht. Die Clients unterscheiden sich auf einer Achse, die Proxies auf einer anderen, und blockierte Scraper sind fast immer eine Geschichte über beides. Führen Sie die vier Sonden aus, lesen Sie die Wahrheitstabelle und beheben Sie die Achse, auf die die Daten hinweisen, anstatt die, über die das Internet geschrien hat.

Beheben Sie die Achse, die Imitation nicht erreichen kann