Robots.txt nicht erreichbar

Symptombeschreibung

Wenn robots.txt nicht erreichbar ist, kann Google Crawling und Indexierung vorsichtiger behandeln oder Fehler melden.

Praxisbeispiel: Search Console zeigt `robots.txt nicht erreichbar`, obwohl die Datei im FTP liegt. Ursache kann Domain-Ziel, Weiterleitung, SSL oder Serverregel sein.

Typische Anzeichen

• Search Console meldet Seitenverfügbarkeit mit robots.txt-Fehler.
• Die Datei öffnet im Browser, aber Google meldet weiterhin Probleme.
• www- und non-www-Version verhalten sich unterschiedlich.

Häufige Ursachen

• Server liefert zeitweise 500 oder falsche Weiterleitungen.
• www-Domain, SSL-Zertifikat oder Webroot zeigen nicht konsistent auf dieselbe Installation.
• Eine .htaccess-Regel blockiert oder leitet Systemdateien falsch.

Was Sie selbst prüfen können

1. Rufen Sie `/robots.txt` mit und ohne `www` auf.
2. Prüfen Sie HTTP-Status und Weiterleitungskette.
3. Achten Sie darauf, dass robots.txt im gleichen Webroot wie index.html liegt.

Wann eine Website-Diagnose sinnvoll ist

Bei robots.txt-Problemen lohnt sich eine technische Diagnose, weil kleine Serverregeln große Indexierungsfolgen haben können.