Robots.txt

Die Datei robots.txt ist eine Textdatei, die auf dem Server gespeichert wird und den Crawlern der Suchmaschinen bestimmte Informationen und Anweisungen gibt. Man kann damit zum Beispiel bestimmte Unterseiten aus der Suche ausschließen. Aber auch für viele andere SEO-Aspekte ist robots.txt interessant.

Was ist robots.txt?

Der Name der Datei macht deutlich, worum es geht: um automatische Zugriffe auf die Domain und deren einzelne Seiten. Besonders interessant für Webmaster sind dabei die Google Crawler. In der Datei robots.txt können zum Beispiel folgende Informationen an die Google-Robots vermittelt werden:

• Informationen darüber, welche Verzeichnisse bestimmte Bots nicht analysieren sollen.
• Anweisungen zum Suchverhalten an alle oder ausgewählte Crawler.
• Ein Hinweis darauf, wo die Suchmaschine die Sitemap findet.

Als einfache Textdatei benötigt robots.txt sehr wenig Speicherplatz. Für die Erstellung sind außerdem keine Programmierkenntnisse erforderlich. In vielen Fällen ist robots.txt jedoch essenziell, um das Verhalten der Google-Crawler zu beeinflussen. Dieses Verfahren kann auch Auswirkungen auf das Ranking bestimmter Unterseiten auf der Google-Ergebnisliste haben.

Wie sieht der Inhalt von robots.txt aus?

In der Datei robots.txt können Befehle nach einem bestimmten Schema angelegt werden:

1. Der erste Teil spricht den User-Agenten an.
2. Der zweite Teil gibt einen Befehl, welches Verzeichnis gelesen oder ignoriert werden soll.

Ein Befehl kann zum Beispiel so aussehen:

User-agent: *
Disallow: /ordner_a/
Disallow: /ordner_b/
Disallow: /xyz.html
Sitemap: /sitemap.xml

Das Sternchen bei User-agent: * steht für die Crawler jeder beliebigen Suchmaschine. Mit diesem Code wird jeder Robot, egal von welcher Suchmaschine, angewiesen, bestimmte Ordner (oder eine bestimmte HTML-Datei) nicht zu crawlen. Der Befehl Allow ist ebenfalls möglich, in den meisten Fällen jedoch überflüssig.

Der abschließenden Befehl mit dem Pfad zur Sitemap ist ebenfalls nicht unbedingt nötig. Es reicht in der Regel aus, die Sitemap zu erstellen, sie mit sitemap.xml zu benennen und auf dem Hauptverzeichnis des Servers abzulegen. Sollte die Datei jedoch einen anderen Namen haben oder in einem anderen Verzeichnis gespeichert sein, ist der Befehl in der robots.txt-Datei sehr wichtig. Die XML-Sitemap kann zusätzlich in der Google Search Console eingereicht werden.

Tipp: Im Internet gibt es zahlreiche SEO-Tools, die eine schnelle Kontrolle der Inhalte der robots.txt-Datei ermöglichen. Dazu gibt es Beispiele und Anleitungen zur Erstellung von robots.txt-Dateien.

robots.txt für SEO nutzen

Welche Dateien und Verzeichnisse sollen die Google Crawler untersuchen und welche nicht? Diese Anweisungen haben mit Suchmaschinenoptimierung eigentlich nichts zu tun. Die Textdatei lässt sich jedoch effektiv auch für SEO-Zwecken nutzen – insbesondere dann, wenn eine Domain sehr viele Seiten und Verzeichnisse aufweist.

So kann man den Google Bot zum Beispiel anweisen, nur die wichtigsten Seiten zu durchsuchen. Man vermeidet damit, dass Google völlig überflüssige Seiten durchsucht. Google selbst gibt zu, dass es Crawl Rate Limits, Crawl Budgets und Crawl Demands gibt, um die automatische Suche besonders effektiv zu machen. Die Effekte können sich sehen lassen:

• Aufgrund der Anweisungen in der robots.txt-Datei wird es Google ermöglicht, die Crawler effizient einzusetzen.
• Auch eine Überlastung des eigenen Servers wird dadurch verhindert.

Der zweite Punkt kann sich beispielsweise positiv auf die Google Page Speed auswirken.

Wie sicher ist robots.txt?

Als reine Textdatei kann robots.txt keinen technischen Schaden anrichten. Allerdings können schon kleine Vertipper enorme SEO-Auswirkungen haben. Wenn zum Beispiel aus einem Allow ein Disallow wird, ignoriert Google wichtige Seiten einer Internetpräsenz. Allerdings stellt robots.txt nur eine Hilfe für die Crawler der Suchmaschinen dar. Google, Bing und Co. sind nicht verpflichtet, sich an die Anweisungen in dieser Datei zu halten.

Vor den Zugriffen anderer User schützt robots.txt jedoch nicht. Hier ist es ratsam, geheime Seiten mit einem Passwort-Schutz zu versehen.

Wer wissen möchte, wie eine robots.txt aussieht, muss einfach nur folgenden Befehl in den Browser eingeben:

https://domainname.de/robots.txt

Sollte auf dem Hauptverzeichnis keine Datei mit diesem Namen vorhanden sein, antwortet der Server mit einer Error-404-Meldung mit dem Inhalt, dass diese Seite nicht vorhanden ist. Es ist deshalb besonders wichtig, darauf zu achten, dass die robots.txt-Datei nicht in einem Unterverzeichnis gespeichert wird.

Wichtig: Wenn die oben genannte Browser-Eingabe zur Hauptseite der Website führt, ist es nötig, die Weiterleitungen auf dem Server zu prüfen. Denn wenn eine Seite nicht existiert, sollte ein entsprechender Hinweis vom Server erscheinen.

Fazit

Klar: Eine normale Website kommt im Zweifel auch ohne robots.txt-Datei aus. Wenn der Content, die Keyworddichte und die Website Struktur stimmen, sind gute Positionen bei Google möglich. Doch vor allem unter technischen Aspekten kann es sich lohnen, den Google Crawlern bestimmte Anweisungen zu geben, um beispielsweise private Verzeichnisse auszuschließen. Diese könnten das Gesamtbild der Website für den User verfälschen. Aber auch ganz legale SEO-Tricks sind mit robots.txt möglich – mit teilweise erstaunlichen Wirkungen.