robots.txt-Tester
robots.txt-Tester
Kostenlos, ohne Anmeldung. Wir rufen nur die öffentliche URL ab, die du eingibst.
Kurze Antwort
Gib oben deine Domain ein, und der robots.txt-Tester lädt die Datei und zeigt ihre Regeln: welche User-Agents angesprochen werden, welche Pfade gesperrt oder erlaubt sind und welche Sitemaps genannt werden. Der gefährlichste Fehler ist ein zu breites Disallow – ein einziges „Disallow: /“ für alle Crawler sperrt die ganze Website, oft vom Staging-System übernommen.
- Kostenlos, ohne Anmeldung: Regeln je User-Agent, Sitemaps.
- Macht sperrende Regeln wie „Disallow: /“ sichtbar.
- robots.txt steuert das Crawling, nicht die Indexierung – dafür gibt es noindex.
User-agent: * Disallow: /warenkorb/ Disallow: /kasse/ Disallow: / Sitemap: https://www.myshop.com/sitemap_index.xml
Mit diesem kostenlosen robots.txt-Tester prüfst du, ob deine robots.txt die richtigen Bereiche für Crawler erlaubt oder sperrt. Die Datei ist klein, aber mächtig: Eine einzige falsche Zeile kann ganze Seitenbereiche vom Crawling ausschließen und so still aus dem Index nehmen. Dieser Tester hilft dir, solche folgenreichen Fehler zu erkennen, bevor sie Sichtbarkeit kosten.
Was die robots.txt tut
Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis deiner Domain, die Suchmaschinen-Crawlern sagt, welche Bereiche sie abrufen dürfen und welche nicht. Sie ist das erste, was ein gut erzogener Crawler bei deiner Seite liest, und steuert, wohin seine Aufmerksamkeit fließt — ein wichtiges Werkzeug, gerade bei großen Seiten.
Wichtig ist, was die robots.txt nicht tut: Sie steuert das Crawling, nicht die Indexierung direkt. Eine per robots.txt gesperrte Seite wird nicht gecrawlt, kann aber unter Umständen trotzdem im Index erscheinen, wenn sie von außen verlinkt ist. Diese Unterscheidung ist die Quelle vieler Missverständnisse.
Allow und Disallow verstehen
Das Herz der robots.txt sind Allow- und Disallow-Regeln, die für bestimmte Crawler (User-agent) festlegen, welche Pfade erlaubt oder gesperrt sind. Ein Disallow sperrt einen Pfad und alles darunter; ein Allow kann eine engere Ausnahme innerhalb eines gesperrten Bereichs wieder freigeben. Die Reihenfolge und Genauigkeit dieser Regeln entscheidet über ihre Wirkung.
Gerade hier entstehen die folgenreichsten Fehler. Ein zu weit gefasstes Disallow — etwa ein einzelner Schrägstrich — sperrt versehentlich die ganze Seite. Eine Regel, die auf den falschen Pfad zielt, lässt entweder wichtige Seiten ungeschützt oder sperrt genau die, die gefunden werden sollen.
So liest du das Ergebnis
Das Ergebnis zeigt dir den vollständigen Inhalt deiner robots.txt, wie viele User-Agent-Gruppen sie enthält und welche Sitemaps sie nennt. Lies die Regeln für die Crawler, auf die es ankommt – meist * und Googlebot –, und prüfe, ob ein Disallow deine Startseite, zentrale Kategorien oder wichtige Inhaltsseiten erfasst. Der robots.txt-Bericht der Google Search Console zeigt zusätzlich, wie Google selbst die Datei gelesen hat.
Besonders lohnt sich der Test für die Seiten, auf die es ankommt: deine Startseite, zentrale Kategorien, wichtige Inhaltsseiten. Sind diese versehentlich gesperrt, ist das ein stiller, aber schwerwiegender Fehler, der ihre Sichtbarkeit vollständig untergraben kann.
Der folgenreichste Fehler
Der gefürchtetste robots.txt-Fehler ist ein versehentliches, zu breites Disallow, das die ganze Seite vom Crawling ausschließt. Das passiert erschreckend leicht — etwa, wenn eine robots.txt aus einer Entwicklungsumgebung, die alles sperrt, versehentlich auf die Live-Seite übernommen wird. Die Seite funktioniert normal, verschwindet aber nach und nach aus den Suchergebnissen.
Das Tückische ist, dass nichts davon einen sichtbaren Fehler erzeugt. Niemand bekommt eine Warnung, die Seite lädt wie immer — nur der Suchverkehr versiegt langsam. Ohne gezielte Prüfung bemerkt man den Fehler oft erst Wochen später, wenn der Schaden bereits angerichtet ist.
Crawling gegen Indexierung
Ein zentrales Missverständnis ist, mit der robots.txt eine Seite aus dem Index halten zu wollen. Dafür ist sie das falsche Werkzeug: Sie verhindert das Crawling, aber eine gesperrte, von außen verlinkte Seite kann trotzdem im Index auftauchen — nur ohne Inhalt, was ein schlechtes Ergebnis ist.
Soll eine Seite zuverlässig nicht im Index erscheinen, ist das noindex-Tag das richtige Mittel. Dafür muss die Seite aber crawlbar sein, damit die Suchmaschine das noindex überhaupt sieht — sie darf also gerade nicht per robots.txt gesperrt sein. Die beiden Werkzeuge sauber auseinanderzuhalten, verhindert genau diese häufige Falle.
Was in die robots.txt gehört
Sinnvoll gesperrt werden Bereiche ohne Wert für die Suche: interne Suchergebnisse, endlose Filter- und Parameterseiten, reine Funktions- oder Administrationspfade. Das schont das Crawl-Budget, indem es Crawler von Sackgassen fernhält, ohne wichtige Inhalte zu beeinträchtigen.
- Interne Suchergebnisseiten
- Endlose Filter- und Parameter-Varianten
- Administrations- und Funktionspfade
- Der Verweis auf die XML-Sitemap
- Nicht gesperrt: wichtige Inhalts- und Kategorieseiten
Vor dem Deploy testen
Weil ein robots.txt-Fehler so folgenreich und so still ist, gehört jede Änderung vor dem Deploy getestet. Eine einzige falsch gesetzte Zeile kann den Unterschied zwischen einer gut gefundenen und einer unsichtbaren Seite ausmachen, und der Schaden ist umso größer, je länger er unbemerkt bleibt.
Besonders kritisch ist der Übergang von einer Entwicklungs- auf eine Live-Umgebung. Viele Entwicklungsumgebungen sperren bewusst alles, um nicht indexiert zu werden — wird diese Datei versehentlich live übernommen, verschwindet die ganze Seite. Ein Test vor und direkt nach dem Deploy fängt genau diesen Fehler ab.
Die Sitemap in der robots.txt
Die robots.txt hat neben dem Sperren noch eine zweite nützliche Aufgabe: Sie kann auf deine XML-Sitemap verweisen. Dieser Verweis hilft Suchmaschinen, deine Sitemap zu finden, selbst wenn du sie nicht anderweitig eingereicht hast — ein kleiner, aber sinnvoller Eintrag, der Crawling und Auffindbarkeit zusammenbringt.
- robots.txt Sitemap-Zeile
- Sitemap Liste der URLs
- Crawler Findet und besucht Seiten
- Index Google entscheidet
So wird die robots.txt zum zentralen Steuerungspunkt: Sie sagt Crawlern einerseits, was sie meiden sollen, und weist sie andererseits auf die Landkarte deiner wichtigen Seiten hin. Beide Funktionen zusammen machen aus einer simplen Textdatei ein wirksames Werkzeug der Crawl-Steuerung.
Verschiedene Crawler gezielt steuern
Die robots.txt spricht nicht nur „die Suchmaschinen" als Ganzes an, sondern kann für einzelne Crawler eigene Regeln festlegen. Über die User-agent-Angabe lässt sich bestimmen, dass eine Regel nur für einen bestimmten Bot gilt — etwa, um einem ressourcenhungrigen Crawler engere Grenzen zu setzen, während die großen Suchmaschinen vollen Zugriff behalten.
Das ist mächtig, aber auch eine Quelle von Fehlern. Werden Regeln für mehrere User-agents gemischt, ist nicht immer offensichtlich, welche für einen bestimmten Crawler tatsächlich greift. Eine zu allgemeine Regel kann eine speziellere überschreiben oder umgekehrt, je nach Aufbau der Datei.
Für die meisten Websites genügt ein einfacher, einheitlicher Satz an Regeln für alle Crawler. Differenzierte Regeln lohnen sich erst, wenn ein konkreter Bot nachweislich Probleme bereitet — etwa durch zu intensives Crawlen, das den Server belastet.
Wichtig ist in jedem Fall, die Wirkung für die relevanten Crawler konkret zu prüfen, statt sich auf die Annahme zu verlassen, eine Regel greife schon richtig. Ein Test für einzelne Adressen und Crawler zeigt, was tatsächlich erlaubt oder gesperrt ist.
Grenzen der robots.txt kennen
So nützlich die robots.txt ist, sie hat klare Grenzen, die man kennen sollte. Sie ist eine Bitte, keine Durchsetzung: Gut erzogene Suchmaschinen-Crawler halten sich daran, aber bösartige Bots oder Scraper ignorieren sie schlicht. Wer vertrauliche Bereiche schützen will, darf sich deshalb niemals allein auf die robots.txt verlassen — dafür braucht es echte Zugriffskontrollen.
Eine weitere Grenze ist die bereits erwähnte Verwechslung von Crawling und Indexierung. Die robots.txt kann das Abrufen verhindern, aber nicht zuverlässig das Erscheinen im Index. Eine gesperrte, von außen verlinkte Seite kann trotzdem auftauchen — ohne Inhalt, was ein schlechtes Ergebnis ist.
Auch die Datei selbst ist öffentlich einsehbar. Jeder kann deine robots.txt aufrufen, und die darin gesperrten Pfade verraten unter Umständen die Existenz von Bereichen, die du eigentlich unauffällig halten wolltest. Sie als Versteck zu nutzen, erreicht damit oft das Gegenteil.
Diese Grenzen bedeuten nicht, dass die robots.txt unwichtig wäre — im Gegenteil, für die Crawl-Steuerung ist sie zentral. Sie bedeuten nur, dass sie das richtige Werkzeug für den richtigen Zweck ist und nicht für Aufgaben missbraucht werden sollte, für die es bessere Mittel gibt.
Wer diese Grenzen kennt, setzt die robots.txt gezielt dort ein, wo sie wirkt — bei der Lenkung des Crawlings — und greift für Indexierung und Zugriffsschutz zu den jeweils passenden Werkzeugen.
robots.txt und monitordefend
monitordefend meldet keine Änderungen an der robots.txt selbst; teste sie deshalb hier vor und nach jedem Deployment, das sie berührt. Ihre Auswirkungen zeigen sich aber im Dashboard: Der Crawler für defekte Links beachtet deine Disallow-Regeln, der Sitemap-Checker findet deine Sitemap über die Sitemap-Zeile der robots.txt, und mit verbundener Search Console zeigt der Indexierungs-Checker, wenn Seiten aus Google zu fallen beginnen.
Ein plötzlicher Rückgang indexierter Seiten wenige Tage nach einem Deployment ist oft das erste sichtbare Zeichen einer versehentlichen Sperre – und der Moment, diesen Tester erneut zu nutzen.
Besonders tückisch ist eine robots.txt vom Staging-System, die mit dem Livegang übernommen wird. Ein kurzer Blick hier direkt nach jedem Relaunch verhindert, dass Google die ganze Website wochenlang nicht crawlt.
Häufige Fragen
Hält die robots.txt eine Seite aus dem Index?
Nicht zuverlässig. Sie verhindert das Crawling, aber eine gesperrte, von außen verlinkte Seite kann trotzdem im Index erscheinen. Um eine Seite sicher aus dem Index zu halten, nutzt du ein noindex-Tag — die Seite muss dafür crawlbar, also nicht per robots.txt gesperrt sein.
Was ist der gefährlichste robots.txt-Fehler?
Ein zu breites Disallow, das die ganze Seite vom Crawling ausschließt — oft, wenn eine alles sperrende Datei aus einer Entwicklungsumgebung versehentlich live übernommen wird. Die Seite funktioniert normal, verschwindet aber aus den Suchergebnissen.
Was sollte ich per robots.txt sperren?
Bereiche ohne Suchwert wie interne Suchergebnisse, endlose Filterseiten und Funktionspfade. Wichtige Inhalts- und Kategorieseiten gehören nicht gesperrt. Zusätzlich kannst du auf deine XML-Sitemap verweisen.
Sollte ich die robots.txt vor dem Deploy testen?
Unbedingt. Eine einzige falsche Zeile kann ganze Bereiche aussperren, und der Fehler ist still. Ein Test vor und direkt nach dem Deploy — besonders beim Wechsel von einer Entwicklungs- auf die Live-Umgebung — fängt ihn ab.
Überwache deine Indexierung
Starte kostenlos und richte deinen ersten Check in Minuten ein.
Kostenlos starten