robots.txt testen
Die robots.txt entscheidet, welche Bereiche einer Website Suchmaschinen abrufen dürfen. Ein Tippfehler sperrt im Zweifel die halbe Seite aus – sichtbar wird das oft erst Wochen später. Hier lässt sich vorher prüfen, was eine Regel tatsächlich bewirkt. Noch keine Datei? Hier eine erstellen.
1. Regeln
2. Adressen prüfen
Eine Adresse pro Zeile – vollständig oder nur der Pfad ab dem Schrägstrich.
3. Ergebnis
- erlaubt/admin/hilfe.htmlAllow: /admin/hilfe.html
- gesperrt/admin/geheim.htmlDisallow: /admin/
- gesperrt/produkte?sort=preisDisallow: /*?sort=
- erlaubt/impressumkeine Regel trifft zu
Angegebene Sitemaps
- https://beispiel.de/sitemap.xml
Wie die Auswertung funktioniert
Es gewinnt die längste zutreffende Regel, nicht die zuerst genannte. Steht Disallow: /admin/ über Allow: /admin/hilfe.html, ist die Hilfeseite trotzdem erlaubt – die Allow-Regel ist länger und damit genauer. Sind beide gleich lang, gewinnt Allow. So handhabt es auch Google.
Ein Sternchen steht für beliebige Zeichen, ein Dollarzeichen am Ende für das Ende der Adresse. Disallow: /*?sort= sperrt damit jede Adresse, die irgendwo ?sort= enthält.
Zu jedem Crawler gilt nur seine eigene Gruppe. Gibt es keine, greift die Gruppe für * – die Regeln beider Gruppen werden nicht zusammengezählt.
Wichtig: Eine Sperre in der robots.txt verhindert das Abrufen, nicht zwingend das Erscheinen im Index. Soll eine Seite gar nicht in den Suchergebnissen auftauchen, gehört ein noindex in die Seite – und die darf dann nicht per robots.txt gesperrt sein, sonst liest es niemand.