robots.txt testen
Die robots.txt entscheidet, welche Bereiche einer Website Suchmaschinen abrufen dürfen. Ein Tippfehler sperrt im Zweifel die halbe Seite aus – sichtbar wird das oft erst Wochen später. Hier lässt sich vorher prüfen, was eine Regel tatsächlich bewirkt. Noch keine Datei? Hier eine erstellen.
So funktioniert’s
Welche Adresse darf ein Bot besuchen?
- robots.txt laden oder einfügen
- Bot und Adressen auswählen
- Erlaubte und gesperrte Wege prüfen
1. Regeln
2. Adressen prüfen
Eine Adresse pro Zeile – vollständig oder nur der Pfad ab dem Schrägstrich.
3. Ergebnis
- erlaubt/admin/hilfe.htmlAllow: /admin/hilfe.html
- gesperrt/admin/geheim.htmlDisallow: /admin/
- gesperrt/produkte?sort=preisDisallow: /*?sort=
- erlaubt/impressumkeine Regel trifft zu
Angegebene Sitemaps
- https://beispiel.de/sitemap.xml
Wie die Auswertung funktioniert
Es gewinnt die längste zutreffende Regel, nicht die zuerst genannte. Steht Disallow: /admin/ über Allow: /admin/hilfe.html, ist die Hilfeseite trotzdem erlaubt – die Allow-Regel ist länger und damit genauer. Sind beide gleich lang, gewinnt Allow. So handhabt es auch Google.
Ein Sternchen steht für beliebige Zeichen, ein Dollarzeichen am Ende für das Ende der Adresse. Disallow: /*?sort= sperrt damit jede Adresse, die irgendwo ?sort= enthält.
Zu jedem Crawler gilt nur seine eigene Gruppe. Gibt es keine, greift die Gruppe für * – die Regeln beider Gruppen werden nicht zusammengezählt.
Wichtig: Eine Sperre in der robots.txt verhindert das Abrufen, nicht zwingend das Erscheinen im Index. Soll eine Seite gar nicht in den Suchergebnissen auftauchen, gehört ein noindex in die Seite – und die darf dann nicht per robots.txt gesperrt sein, sonst liest es niemand.
Weitere Werkzeuge
Aus „Prüfen und vergleichen“ und verwandten Bereichen – kostenlos und ohne Anmeldung.
Sitemap prüfen
XML einlesen, Aufbaufehler finden und die enthaltenen Adressen auf Erreichbarkeit testen.
Werkzeug öffnen
URL-Vergleich
Zwei Seiten nebeneinander prüfen – Score, Kennzahlen und jede Einzelprüfung im direkten Gegenüber.
Werkzeug öffnen
Google-Ranking-Check
Wie gut ist eine Seite auf einen Suchbegriff ausgerichtet? Title, Überschriften, Text, Linktexte und die technischen Voraussetzungen.
Werkzeug öffnen
Konkurrenzanalyse
Die eigene Seite gegen die zehn Treffer vor ihr stellen – und sehen, was die Vorderen anders machen.
Werkzeug öffnen
.htaccess erstellen
Weiterleitungen, HTTPS-Zwang, Komprimierung und Zugriffsschutz für Apache zusammenklicken.
Werkzeug öffnen
Impressum erstellen
Rechtsform wählen, Angaben eintragen – fertiger Text nach § 5 DDG zum Übernehmen.
Werkzeug öffnen