So nutzen Sie das Tool Robots.txt-Generator
- Standard festlegenAlle Crawler erlauben (normale Websites) oder alles blockieren (Staging- und Testseiten).
- Zu Blockierendes auflistenFügen Sie Ordner oder Seiten hinzu, die nicht in Suchmaschinen erscheinen sollen, optional mit Ausnahmen.
- Sitemaps und Bot-Regeln hinzufügenGeben Sie Ihre Sitemap-URL ein und markieren Sie KI-Crawler oder SEO-Bots, die Sie blockieren möchten.
- Testen und herunterladenPrüfen Sie URLs mit dem Tester, laden Sie die robots.txt herunter und legen Sie sie ins Stammverzeichnis Ihrer Website.
Funktionen
- KI-Crawler blockierenRegeln mit einem Klick für GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot und weitere.
- URL-TesterSehen Sie sofort, ob Googlebot oder ein anderer Crawler eine URL abrufen darf und welche Regel das entscheidet.
- Platzhalter unterstütztNutzen Sie * für beliebige Zeichen und $ für „endet mit“, wie Google und Bing es unterstützen.
- Bearbeitbares ErgebnisPassen Sie die erzeugte Datei von Hand an; der Tester prüft Ihre Änderungen live.
Was ist die robots.txt?
Die robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, etwa https://www.example.com/robots.txt, die Crawlern sagt, welche Bereiche sie besuchen dürfen. Suchmaschinen wie Google und Bing lesen sie, bevor sie crawlen. Sie dient dazu, Crawler von Admin-Bereichen, internen Suchergebnissen, Warenkörben und endlosen Filterkombinationen fernzuhalten, die das Crawl-Budget verschwenden.
Die Syntax der robots.txt
| Zeile | Bedeutung |
|---|---|
| User-agent: * | Die folgenden Regeln gelten für alle Crawler |
| User-agent: GPTBot | Die folgenden Regeln gelten nur für den Crawler von OpenAI |
| Disallow: /admin/ | Alles, was mit /admin/ beginnt, nicht crawlen |
| Allow: /admin/hilfe/ | Ausnahme: dieser Ordner darf gecrawlt werden |
| Disallow: /*?sortierung= | Jede URL mit ?sortierung= blockieren |
| Disallow: /*.pdf$ | URLs blockieren, die auf .pdf enden |
| Sitemap: https://…/sitemap.xml | Der Ort Ihrer XML-Sitemap |
* für beliebige Zeichenfolgen und $ für „endet mit“ werden wie bei Google und Bing unterstützt. Der Abgleich folgt dem offiziellen Standard (RFC 9309): Die längste Regel gewinnt, bei Gleichstand gewinnt Allow. Sie können die erzeugte Datei von Hand bearbeiten.
URLs mit Umlauten
Enthalten Ihre Adressen Umlaute, etwa /größen/übersicht/, vergleichen Crawler den Pfad in der kodierten Form, die der Browser sendet: /gr%C3%B6%C3%9Fen/%C3%BCbersicht/. Google akzeptiert beide Schreibweisen in der robots.txt und kodiert selbst, andere Crawler nicht. Am sichersten schreiben Sie die Regel in kodierter Form oder nutzen für blockierte Bereiche Slugs ohne Umlaute (groessen, uebersicht). Prüfen Sie es immer mit „Eine URL testen“.
Eine URL testen
Bevor Sie die Datei hochladen, tragen Sie unter „Pfad oder URL“ eine Adresse ein und wählen den Crawler (Googlebot, Bingbot, GPTBot …). Sie sehen sofort, ob er zugreifen darf und welche Regel entscheidet. Der Tester prüft den Inhalt des Textfelds und damit auch Ihre Änderungen von Hand live.
Wichtig: Die robots.txt ist kein Sicherheitswerkzeug
- Sie versteckt keine Seiten: Die Datei ist öffentlich, und einen geheimen Ordner darin zu nennen heißt, ihn anzukündigen. Schützen Sie private Bereiche mit einem Passwort.
- Sie entfernt keine Seiten aus Google: Eine blockierte URL kann trotzdem erscheinen, wenn andere Websites darauf verlinken. Um eine Seite aus den Ergebnissen zu entfernen, erlauben Sie das Crawlen und setzen ein noindex-Meta-Tag (siehe unseren Meta-Tag-Generator).
- Bösartige Crawler ignorieren sie: Seriöse Crawler halten sich an die robots.txt, Content-Scraper und Schadsoftware meist nicht.
KI-Crawler blockieren
Viele KI-Firmen durchsuchen das Web, um Sprachmodelle zu trainieren. Bei vielen können Sie in der robots.txt widersprechen: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (KI-Modelle von Google; die normale Suche ist nicht betroffen), CCBot (Common Crawl, von vielen KI-Projekten genutzt), Applebot-Extended, PerplexityBot, Bytespider und meta-externalagent. Mit „KI-Crawler blockieren“ wird die Regel mit einem Klick hinzugefügt, ohne Auswirkung auf Ihr Ranking bei Google oder Bing. Nach dem Urheberrechtsgesetz gilt für Text- und Data-Mining ein Nutzungsvorbehalt bei online zugänglichen Werken nur, wenn er in maschinenlesbarer Form erklärt ist; viele deutsche Verlage nutzen dafür die robots.txt zusammen mit einem Hinweis im Impressum. Neue Crawler tauchen häufig auf, prüfen Sie die Datei also gelegentlich.
Die robots.txt installieren
- Laden Sie die Datei herunter. Sie muss genau robots.txt heißen, in Kleinbuchstaben.
- Laden Sie sie ins Stammverzeichnis hoch, damit sie unter ihredomain.de/robots.txt erreichbar ist. Eine robots.txt in einem Unterordner wird ignoriert.
- Jede Subdomain (etwa shop.example.com) braucht ihre eigene Datei.
- Prüfen Sie sie im robots.txt-Bericht der Google Search Console.
Noch keine Sitemap? Erstellen Sie sie mit dem XML-Sitemap-Generator.