robots.txt für Web Scraping: Was es bindet, was nicht

robots.txt ist eine Konvention, kein Vertrag - und kein Schloss. Hier ist, was es tatsächlich von einem Scraper verlangt, was es nicht durchsetzen kann und wie man es respektiert und dennoch Daten erhält.

Jedes Gespräch über die Ethik des Scraping beginnt mit robots.txt, und die meisten liegen in eine von zwei Richtungen falsch - es als Gesetz zu behandeln, für dessen Bruch man verhaftet wird, oder als Lärm, den man völlig ignorieren kann. Es ist weder das eine noch das andere. robots.txt ist eine freiwillige Konvention, die gutmütigen Bots mitteilt, welche Pfade eine Website lieber unberührt lassen würde. Genau zu wissen, was es bindet und was nicht, unterscheidet eine professionelle Datenoperation von einer rücksichtslosen. Dies ist ein Leitfaden für Praktiker und ein Hinweis vorweg: Dies ist informativ, keine Rechtsberatung.

Was robots.txt tatsächlich ist

robots.txt implementiert das Robots Exclusion Protocol, das 2022 als RFC 9309 standardisiert wurde. Es ist eine einfache Textdatei, die im Stammverzeichnis einer Domain lebt - https://example.com/robots.txt - mit einer Datei pro Domain oder Subdomain. Es ist optional: ein 404 bedeutet einfach, dass die Website keine Datei hat und keine Präferenz ausgedrückt hat. Entscheidend ist, dass es eine Bitte ist, keine Barriere. Nichts am Bereitstellen einer robots.txt verhindert technisch den Zugriff; es beruht auf dem guten Glauben der Bots, die es lesen.

Es zu lesen ist eine einzige Anfrage - tun Sie dies, bevor Sie irgendetwas crawlen, jedes Mal:

# Just read it
curl -s https://example.com/robots.txt

# Through a proxy, as your scraper would see it
curl -s -x http://USER:PASS@gate.quantumproxies.io:8000 https://example.com/robots.txt

Die Direktiven, die wichtig sind

Das Vokabular ist klein. Lernen Sie diese und Sie können jedes robots.txt auf einen Blick lesen:

User-agent - welcher Bot die folgenden Regeln ansprechen. * bedeutet jeden Bot; ein Name wie Googlebot zielt auf einen ab. Direktivenamen sind nicht case-sensitiv, aber die Pfadwerte sind case-sensitiv: /Private/ ist nicht /private/.
Disallow - ein Pfadpräfix, das nicht gecrawlt werden soll. Disallow: /admin/ blockiert diesen Ordner und alles darunter. Disallow: / blockiert die gesamte Website; ein leeres Disallow: erlaubt alles.
Allow - ein nicht standardmäßiger, aber universell anerkannter Override, der einen Pfad innerhalb eines nicht erlaubten wieder erlaubt.
Crawl-delay - ein nicht standardmäßiger Hinweis, der N Sekunden zwischen Anfragen verlangt. Respektieren Sie es: es zu ignorieren ist einer der schnellsten Wege, um markiert zu werden.
Request-rate und Visit-time - seltene Direktiven, die Anfragen pro Intervall begrenzen oder das Crawlen auf bestimmte UTC-Stunden beschränken.
Sitemap - eine absolute URL zur XML-Sitemap. Keine Einschränkung, ein Geschenk: es kartiert die Struktur der Website für Sie.

Ein Vorbehalt zur Syntax: die Platzhalter * und $ in Pfadmuster sind nicht im ursprünglichen Standard, aber jede große Engine respektiert sie, daher ist Disallow: /*.pdf$ in der Praxis üblich und effektiv.

import urllib.robotparser as rp

# Parse robots.txt and check a URL for your user agent
robots = rp.RobotFileParser()
robots.set_url("https://example.com/robots.txt")
robots.read()

UA = "MyResearchBot/1.0"
print(robots.can_fetch(UA, "https://example.com/products"))  # True / False
print(robots.crawl_delay(UA))                                 # seconds, or None

Zweispaltiges Diagramm, das kontrastiert, was robots.txt ist (eine Konvention, ein Rate-Signal) versus was es nicht ist (ein Vertrag, eine Zugangskontrolle) — robots.txt ist ein Signal, das respektiert werden sollte, kein Schloss, das Sie stoppt oder ein Vertrag, der Sie von sich aus bindet.

Was es bindet - und was nicht

Dies ist der Teil, den die Leute am meisten klären müssen. robots.txt ist nicht von sich aus rechtlich bindend und es ist kein technischer Zugangskontrollmechanismus - es sperrt nichts. Gerichte haben allgemein bekannte öffentliche Daten als öffentlich behandelt. Aber 'kein Gesetz für sich' ist nicht dasselbe wie 'keine Konsequenzen'. Das Ignorieren der erklärten Wünsche einer Website kann ein Faktor in Nutzungsbedingungen, Hausfriedensbruch oder Computer-Missbrauchsargumenten werden, es lädt zu Sperrungen und zusätzlicher Überprüfung ein und ist einfach schlechte Bürgerschaft. Die pragmatische Haltung: Behandeln Sie robots.txt als ethische Basis, die Sie ehren, und behandeln Sie die tatsächlichen rechtlichen Fragen - persönliche Daten, Verträge, Gerichtsbarkeit - als separate Angelegenheit, die richtig zu handhaben ist. Unser Überblick über Web Scraping Legalität im Jahr 2026 behandelt diese separat.

Der AI-Crawler-Wandel

robots.txt hat ein zweites Leben als Opt-out-Kanal für AI-Training angenommen. Websites fügen jetzt explizite Regeln für AI-Benutzeragenten hinzu - GPTBot, Google-Extended, CCBot, ClaudeBot, PerplexityBot und andere - um zu sagen 'indiziere mich, aber trainiere nicht auf mir'. Deshalb argumentieren Forscher jetzt, dass robots.txt allein nicht mehr ausreicht, um öffentliche Daten aus Modellen herauszuhalten: es hängt vollständig davon ab, dass jeder Crawler sich entscheidet, zu gehorchen, und es spricht nur deklarierte, gutmütige Agenten an. Wenn Sie einen Crawler betreiben, ist das Deklarieren eines ehrlichen User-Agent und das Respektieren dieser Opt-outs die Basis. Die aufkommende Begleitdatei für die gegenteilige Absicht - AI-Tools einzuladen - ist llms.txt, die wir in unserem Leitfaden zu llms.txt behandeln.

# A modern robots.txt often carries AI-specific opt-outs:
#   User-agent: GPTBot
#   Disallow: /
#
#   User-agent: Google-Extended
#   Disallow: /
#
#   User-agent: *
#   Crawl-delay: 5
#   Sitemap: https://example.com/sitemap.xml

Flussdiagramm eines konformen Crawls: robots.txt abrufen, Benutzeragent abgleichen, Crawl-Delay respektieren, erlaubte öffentliche Pfade scrapen — Ein konformer Crawl liest die Datei zuerst, respektiert die Rate-Direktiven und berührt nur erlaubte öffentliche Pfade.

Ein guter Bürger sein und trotzdem Daten erhalten

robots.txt zu respektieren und die öffentlichen Daten zu sammeln, die Sie benötigen, stehen nicht im Widerspruch. Die Disziplinen, die Sie willkommen halten, sind dieselben, die Sie ungesperrt halten: Respektieren Sie Crawl-delay und takten Sie Ihre Anfragen, identifizieren Sie Ihren Bot ehrlich, cachen Sie aggressiv, damit Sie nie dieselbe Seite erneut abrufen, und vermeiden Sie die teuren Endpunkte, die eine Website zu schützen versucht. Die Gemeinschaftsnorm, gut auf Foren ausgedrückt, ist, dass robots.txt hauptsächlich existiert, um Bots zu entmutigen, die erdrückenden Traffic erzeugen - also seien Sie nicht dieser Bot. Unser Leitfaden für höfliches Scraping verwandelt dies in konkrete Taktregeln.

Für Teams, die möchten, dass Compliance standardmäßig gehandhabt wird, kann eine Scraper API robots.txt als Teil der Anfrage lesen und respektieren, zusammen mit vernünftiger Ratenbegrenzung - so ist gutes Bürgertum das Standardverhalten des Tools, nicht ein Kontrollkästchen, das Sie vergessen könnten. Es hält auch einen sauberen, deklarierten Fußabdruck statt eines rohen Skripts, das von einer IP hämmert.

Öffentliche Daten auf konforme Weise sammeln

Häufig gestellte Fragen

Gilt robots.txt rechtlich für Web Scraping?

Nicht von sich aus. robots.txt ist eine freiwillige Konvention (RFC 9309), kein Gesetz oder Vertrag, und es blockiert technisch keinen Zugriff. Aber es zu ignorieren kann in Nutzungsbedingungen, Hausfriedensbruch oder Computer-Missbrauchsansprüche einfließen und lädt zu Sperrungen und Überprüfung ein. Behandeln Sie es als ethische Basis, die Sie ehren, und behandeln Sie die tatsächlichen rechtlichen Fragen - persönliche Daten, Verträge - separat. Dies ist keine Rechtsberatung.

Wie lese ich das robots.txt einer Website?

Senden Sie ein HTTP GET an das Domain-Stammverzeichnis mit /robots.txt angehängt, z.B. https://example.com/robots.txt. curl oder jeder HTTP-Client funktioniert; in Python parst urllib.robotparser es und beantwortet can_fetch() für einen gegebenen Benutzeragenten und URL. Ein 404 bedeutet, dass die Website keine robots.txt hat und keine Crawl-Präferenz angegeben hat.

Was bedeutet Disallow: /?

Es bittet alle passenden Bots, keinen Pfad auf der Website zu crawlen - die gesamte Domain ist auf Anfrage gesperrt. Ein leeres Disallow: bedeutet das Gegenteil: alles ist erlaubt. Denken Sie daran, dass dies Anfragen an gutmütige Crawler sind, keine erzwungenen Barrieren, und dass Pfadwerte case-sensitiv sind, während Direktivenamen es nicht sind.

Kann ich robots.txt ignorieren, wenn die Daten öffentlich sind?

Technisch können Sie es, da es nicht durchgesetzt wird, aber Sie sollten es im Allgemeinen nicht. Es zu ignorieren ist schlechte Bürgerschaft, lässt Sie schneller blockiert werden und kann das Argument einer Website gegen Sie in einem Streitfall stärken. Der professionelle Ansatz ist, es zu respektieren, nur erlaubte öffentliche Pfade zu scrapen, Ihre Anfragen zu takten und persönliche Daten vollständig aus dem Geltungsbereich herauszuhalten.

robots.txt ist eine kleine Datei, die ein großes Signal trägt: Hier ist, wie diese Website gecrawlt werden möchte. Lesen Sie es zuerst, respektieren Sie die Pfade und das Tempo, deklarieren Sie, wer Sie sind, und Sie können die öffentlichen Daten sammeln, die Sie benötigen, während Sie fest auf der richtigen Seite von Etikette und Risiko bleiben.

Probieren Sie die Scraper API mit robots-bewusstem Crawling aus