robots.txt erstellen
Die robots.txt regelt, welche Bereiche einer Website Suchmaschinen abrufen dürfen. Hier entsteht sie durch Anklicken – die Vorschau wächst beim Tippen mit, nichts wird an einen Server geschickt.
1. Grundeinstellung
Ein Pfad pro Zeile. * steht für beliebige Zeichen.
Einzelne Seiten, die trotz Sperre erlaubt bleiben sollen.
Eine pro Zeile. Hier gehört die vollständige Adresse hin.
Sekunden zwischen zwei Abrufen. Google ignoriert die Angabe, Bing beachtet sie.
Ergebnis
User-agent: *
Disallow: /admin/
Disallow: /warenkorb
Disallow: /*?sort=
Sitemap: https://seitensicht.de/sitemap.xml
Die Datei gehört unverändert in das Wurzelverzeichnis der Website, erreichbar unter https://seitensicht.de/robots.txt.
Worauf zu achten ist
Eine Sperre in der robots.txt verhindert das Abrufen, nicht zwingend das Erscheinen im Index: Ist eine gesperrte Seite anderswo verlinkt, kann sie ohne Beschreibungstext trotzdem in den Ergebnissen auftauchen. Soll eine Seite sicher verschwinden, gehört ein noindex in die Seite selbst – und die darf dann nicht gesperrt sein, sonst liest es niemand.
Sperre niemals CSS- oder JavaScript-Dateien. Suchmaschinen stellen die Seite damit dar; fehlen sie, wird die Seite falsch bewertet.
Die Datei ist öffentlich einsehbar. Was hier steht, ist eine Wegbeschreibung – kein Schutz. Vertrauliche Bereiche gehören hinter ein Passwort, nicht in die robots.txt.
Fertig? Dann gleich gegen echte Adressen testen.