Was ist die robots.txt-Datei?
Die robots.txt-Datei ist eine einfache Textdatei, die im Stammverzeichnis Ihrer Website gespeichert wird. Ihre Hauptaufgabe besteht darin, Webcrawlern (auch als Bots bezeichnet) Anweisungen zu geben, welche Seiten oder Bereiche Ihrer Website durchsucht ("gecrawlt") oder indexiert werden dürfen und welche nicht.
Wo befindet sich die robots.txt-Datei?
Die Datei sollte direkt im Stammverezeichnis Ihrer Website abgelegt werden, sodass sie unter der folgenden URL zugänglich ist: https://www.ihredomain.tld/robots.txt. Das Stammverzeichnis ist der Hauptordner Ihrer Website, in dem auch die Startseite (z.B. index.html oder index.php) zu finden ist.
Wie ist die robots.txt-Datei aufgebaut?
Die Datei besteht aus einer Reihe von Anweisungen, die den Suchmaschinen-Crawlern sagen, welche Bereiche der Website durchsucht werden dürfen und welche nicht. Die zwei häufigsten Direktiven sind:
- User-agent: Gibt an, für welchen Suchmaschinen-Crawler die nachfolgenden Anweisungen gelten sollen. Der Platzhalter * steht für alle Crawler.
- Disallow: Gibt den Pfad der Seite oder des Verzeichnisses an, das nicht durchsucht werden soll. Ein leeres Disallow bedeutet, dass der Crawler alle Bereiche durchsuchen darf.
Beispiele für eine robots.txt-Datei
User-agent: *
Disallow: /checkout/
Disallow: /cart/
Disallow: /search/
In diesem Beispiel sind alle Suchmaschinen-Crawler angewiesen, die Seiten /checkout/, /cart/ und /search/ nicht zu durchsuchen. Dies verhindert, dass diese Bereiche in den Suchmaschinenergebnissen erscheinen.
CMS und Shopsysteme: Automatisierte Erstellung der robots.txt-Datei
Bevor Sie die robots.txt-Datei manuell erstellen, sollten Sie prüfen, ob Ihr CMS oder Shopsystem eine Funktion zur automatischen Generierung der Datei bietet. Viele Content-Management-Systeme (CMS) und Shopsysteme ermöglichen es, die robots.txt-Datei direkt im Admin-Bereich zu erstellen und anzupassen, ohne dass Sie manuell eine Datei anlegen müssen.
Beispiel für Shopware 6:
In der Standardversion von Shopware 6 wird die robots.txt nicht automatisch über den Admin-Bereich generiert oder verwaltet. Stattdessen muss die Datei manuell im Dateisystem des Shops angelegt oder bearbeitet werden:
- Legen Sie im Verzeichnis
/public Ihres Shopware-Shops eine Datei mit dem Namen robots.txt an oder bearbeiten Sie diese, falls sie bereits existiert.
- Tragen Sie dort die gewünschten Regeln ein, z. B. um bestimmte Bereiche des Shops für Suchmaschinen zu sperren oder die Sitemap zu hinterlegen.
- Die Datei wird anschließend automatisch unter
https://www.ihre-domain.de/robots.txt ausgeliefert.
Wenn Sie unterschiedliche robots.txt-Dateien für mehrere Domains oder Sales-Channels benötigen, können Sie dies über Server-Rewrite-Regeln (z. B. in .htaccess oder NGINX-Konfiguration) umsetzen.
Für eine komfortablere Bearbeitung im Backend gibt es zudem Extensions, wie etwa „Manage robots.txt and robots meta“ oder FroshRobotsTxt, mit denen die Datei direkt über den Admin-Bereich verwaltet werden kann.
Online-Tools zur Erstellung und Überprüfung der robots-txt-Datei
Wenn Sie die Datei manuell erstellen oder anpassen möchten, gibt es im Internet viele kostenlose Tools, die Sie dabei unterstützen können. Diese Tools bieten Funktionen zur Automatisierten Erstellung und Überprüfung der robots.txt-Datei. Mit einem robots.txt-Generator können Sie einfach Anweisungen erstellen, ohne die Syntax selbst schreiben zu müssen. Ein robots.txt-Checker hilft Ihnen, die Datei auf mögliche Fehler zu überprüfen.