Anlegen einer einfachen robots.txt-Datei für Onlineshops

Für Betreiber von Onlineshops ist es wichtig, ihre Website optimal für Suchmaschinen zu gestalten, um die Sichtbarkeit und Auffindbarkeit zu erhöhen. Die robots.txt-Datei spielt hierbei eine wichtige Rolle. Sie ist eine einfache Textdatei, die Suchmaschinen mitteilt, welche Bereiche einer Website durchsucht und indexiert werden dürfen und welche nicht. Dies hilft dabei, nur relevante seiten in den Suchergebnissen anzuzeigen und unerwünschte Seiten, wie z.B. den Checkout-Bereich oder interne Suchergebnisse, auszuschließen. In dieser Anleitung erfahren Sie, wie Sie eine robots.txt-Datei erstellen und konfigurieren können, um Ihre Website gezielt zu steuern und die Suchmaschinenoptimierung (SEO) Ihres Onlineshops zu verbessern.

Was ist die robots.txt-Datei?

Die robots.txt-Datei ist eine einfache Textdatei, die im Stammverzeichnis Ihrer Website gespeichert wird. Ihre Hauptaufgabe besteht darin, Webcrawlern (auch als Bots bezeichnet) Anweisungen zu geben, welche Seiten oder Bereiche Ihrer Website durchsucht ("gecrawlt") oder indexiert werden dürfen und welche nicht.

Wo befindet sich die robots.txt-Datei?

Die Datei sollte direkt im Stammverezeichnis Ihrer Website abgelegt werden, sodass sie unter der folgenden URL zugänglich ist: https://www.ihredomain.tld/robots.txt. Das Stammverzeichnis ist der Hauptordner Ihrer Website, in dem auch die Startseite (z.B. index.html oder index.php) zu finden ist.

Wie ist die robots.txt-Datei aufgebaut?

Die Datei besteht aus einer Reihe von Anweisungen, die den Suchmaschinen-Crawlern sagen, welche Bereiche der Website durchsucht werden dürfen und welche nicht. Die zwei häufigsten Direktiven sind:

• User-agent: Gibt an, für welchen Suchmaschinen-Crawler die nachfolgenden Anweisungen gelten sollen. Der Platzhalter * steht für alle Crawler.
• Disallow: Gibt den Pfad der Seite oder des Verzeichnisses an, das nicht durchsucht werden soll. Ein leeres Disallow bedeutet, dass der Crawler alle Bereiche durchsuchen darf.

Beispiele für eine robots.txt-Datei

User-agent: *
Disallow: /checkout/
Disallow: /cart/
Disallow: /search/

In diesem Beispiel sind alle Suchmaschinen-Crawler angewiesen, die Seiten /checkout/, /cart/ und /search/ nicht zu durchsuchen. Dies verhindert, dass diese Bereiche in den Suchmaschinenergebnissen erscheinen.

CMS und Shopsysteme: Automatisierte Erstellung der robots.txt-Datei

Bevor Sie die robots.txt-Datei manuell erstellen, sollten Sie prüfen, ob Ihr CMS oder Shopsystem eine Funktion zur automatischen Generierung der Datei bietet. Viele Content-Management-Systeme (CMS) und Shopsysteme ermöglichen es, die robots.txt-Datei direkt im Admin-Bereich zu erstellen und anzupassen, ohne dass Sie manuell eine Datei anlegen müssen.

Beispiel für Shopware 6:

In Shopware 6 wird die robots.txt-Datei automatisch generiert und kann direkt über den Admin-Bereich angepasst werden:

1. Navigieren Sie im Admin-Bereich von Shopware 6 zu Inhalte > SEO.
2. Unter dem Punkt SEO-Index finden Sie eine Option zur Bearbeitung der robots.txt.
3. Hier können Sie eigene Regeln hinzufügen oder bestehende bearbeiten, um den Zugriff auf bestimmte Bereiche Ihres Shops zu steuern.
4. Speichern Sie die Änderungen. Shopware wird die robots.txt-Datei automatisch aktualisieren und bereitstellen.

Online-Tools zur Erstellung und Überprüfung der robots-txt-Datei

Wenn Sie die Datei manuell erstellen oder anpassen möchten, gibt es im Internet viele kostenlose Tools, die Sie dabei unterstützen können. Diese Tools bieten Funktionen zur Automatisierten Erstellung und Überprüfung der robots.txt-Datei. Mit einem robots.txt-Generator können Sie einfach Anweisungen erstellen, ohne die Syntax selbst schreiben zu müssen. Ein robots.txt-Checker hilft Ihnen, die Datei auf mögliche Fehler zu überprüfen.

Schritt-für-Schritt-Anleitung

Schritt 1: Erstellen der robots.txt-Datei

Schritt 2: Grundlegende Konfiguration

User-agent: *
Disallow: /checkout/
Disallow: /cart/
Disallow: /search/

Schritt 3: Anpassung der robots.txt-Datei für spezielle Anforderungen

User-agent: *
Disallow: /admin/
Disallow: /private/

User-agent: Googlebot
Disallow: /private/

User-agent: Bingbot
Disallow: /

Schritt 4: Hochladen der robots.txt-Datei auf Ihren Server

Schritt 5: Überprüfen der robots.txt-Datei

Tipps zur effektiven Nutzung der robots.txt-Datei

• Keine wichtigen Seiten blockieren: Vermeiden Sie es, wichtige Seiten oder Produktseiten zu blockieren, die in Suchmaschinen sichtbar sein sollen.
• Regelmäßige Überprüfung und Anpassung: Überprüfen und aktualisieren Sie die robots.txt-Datei regelmäßig, besonders nach strukturellen Änderungen auf Ihrer Website.
• Suchmaschinenrichtlinien beachten: Beachten Sie, dass unterschiedliche Suchmaschinen die robots.txt-Anweisungen unterschiedlich interpretieren können. Stellen Sie sicher, dass Ihre Datei den Best Practices folgt.

Die robots.txt-Datei ist ein unverzichtbares Werkzeug, um die Kontrolle über die Sichtbarkeit Ihrer Website in Suchmaschinen zu behalten. Mit einer durchdachten Konfiguration können Sie sicherstellen, dass nur relevante Inhalte Ihres Onlineshops indexiert werden, während unnötige oder sensible Bereiche ausgeschlossen bleiben. Nutzen Sie diese Anleitung, um eine effektive robots.txt-Datei zu erstellen und so die SEO-Leistung Ihres Onlineshops zu verbessern.

Geschafft! Sie haben eine einfache robots.txt-Datei für Ihren Onlineshop erstellt.