robots.txt erstellen
Die robots.txt regelt, welche Bereiche einer Website Suchmaschinen abrufen dürfen. Hier entsteht sie durch Anklicken – die Vorschau wächst beim Tippen mit, nichts wird an einen Server geschickt.
So funktioniert’s
Die Wege für Website-Bots festlegen
- Grundeinstellung auswählen
- Sperren und Ausnahmen festlegen
- robots.txt herunterladen
1. Grundeinstellung
Ein Pfad pro Zeile. * steht für beliebige Zeichen.
Einzelne Seiten, die trotz Sperre erlaubt bleiben sollen.
Eine pro Zeile. Hier gehört die vollständige Adresse hin.
Sekunden zwischen zwei Abrufen. Google ignoriert die Angabe, Bing beachtet sie.
Ergebnis
User-agent: *
Disallow: /admin/
Disallow: /warenkorb
Disallow: /*?sort=
Sitemap: https://seitensicht.de/sitemap.xml
Die Datei gehört unverändert in das Wurzelverzeichnis der Website, erreichbar unter https://seitensicht.de/robots.txt.
Worauf zu achten ist
Eine Sperre in der robots.txt verhindert das Abrufen, nicht zwingend das Erscheinen im Index: Ist eine gesperrte Seite anderswo verlinkt, kann sie ohne Beschreibungstext trotzdem in den Ergebnissen auftauchen. Soll eine Seite sicher verschwinden, gehört ein noindex in die Seite selbst – und die darf dann nicht gesperrt sein, sonst liest es niemand.
Sperre niemals CSS- oder JavaScript-Dateien. Suchmaschinen stellen die Seite damit dar; fehlen sie, wird die Seite falsch bewertet.
Die Datei ist öffentlich einsehbar. Was hier steht, ist eine Wegbeschreibung – kein Schutz. Vertrauliche Bereiche gehören hinter ein Passwort, nicht in die robots.txt.
Fertig? Dann gleich gegen echte Adressen testen.
Weitere Werkzeuge
Aus „Für Suchmaschinen“ und verwandten Bereichen – kostenlos und ohne Anmeldung.
Sitemap erstellen
Adressen einfügen oder die Website durchsuchen lassen, fertige XML-Datei herunterladen.
Werkzeug öffnen
Suchmaschinen eintragen
Neue Seiten direkt an Bing, Yandex, Seznam, Naver und weitere melden – per IndexNow, mit Prüfung vorab.
Werkzeug öffnen
Website-Startpaket
Einmal ausfüllen: Meta-Tags, Open Graph, Schema, Favicon, robots.txt und Sitemap in einem Paket.
Werkzeug öffnen
Meta-Tags erstellen
Titel, Beschreibung und Vorschaubilder – mit Vorschau, wie Google das Ergebnis anzeigt.
Werkzeug öffnen
Impressum erstellen
Rechtsform wählen, Angaben eintragen – fertiger Text nach § 5 DDG zum Übernehmen.
Werkzeug öffnen
Sitemap prüfen
XML einlesen, Aufbaufehler finden und die enthaltenen Adressen auf Erreichbarkeit testen.
Werkzeug öffnen