Robots.txt-Generator

Erstellen Sie in Sekunden eine gültige robots.txt. Blockieren Sie private Ordner, fügen Sie Ihre Sitemap hinzu, verhindern Sie, dass KI-Crawler mit Ihren Inhalten trainieren, und testen Sie jede URL vor dem Hochladen gegen die Regeln.

  • KI-Crawler blockieren
  • Integrierter URL-Tester
  • Nach RFC 9309
KI-Crawler blockieren
Weitere Bots blockieren
Sie können das Ergebnis direkt bearbeiten. Der Tester unten prüft den Inhalt dieses Felds.
Eine URL testen

So nutzen Sie das Tool Robots.txt-Generator

  1. Standard festlegenAlle Crawler erlauben (normale Websites) oder alles blockieren (Staging- und Testseiten).
  2. Zu Blockierendes auflistenFügen Sie Ordner oder Seiten hinzu, die nicht in Suchmaschinen erscheinen sollen, optional mit Ausnahmen.
  3. Sitemaps und Bot-Regeln hinzufügenGeben Sie Ihre Sitemap-URL ein und markieren Sie KI-Crawler oder SEO-Bots, die Sie blockieren möchten.
  4. Testen und herunterladenPrüfen Sie URLs mit dem Tester, laden Sie die robots.txt herunter und legen Sie sie ins Stammverzeichnis Ihrer Website.

Funktionen

  • KI-Crawler blockierenRegeln mit einem Klick für GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot und weitere.
  • URL-TesterSehen Sie sofort, ob Googlebot oder ein anderer Crawler eine URL abrufen darf und welche Regel das entscheidet.
  • Platzhalter unterstütztNutzen Sie * für beliebige Zeichen und $ für „endet mit“, wie Google und Bing es unterstützen.
  • Bearbeitbares ErgebnisPassen Sie die erzeugte Datei von Hand an; der Tester prüft Ihre Änderungen live.

Was ist die robots.txt?

Die robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, etwa https://www.example.com/robots.txt, die Crawlern sagt, welche Bereiche sie besuchen dürfen. Suchmaschinen wie Google und Bing lesen sie, bevor sie crawlen. Sie dient dazu, Crawler von Admin-Bereichen, internen Suchergebnissen, Warenkörben und endlosen Filterkombinationen fernzuhalten, die das Crawl-Budget verschwenden.

Die Syntax der robots.txt

ZeileBedeutung
User-agent: *Die folgenden Regeln gelten für alle Crawler
User-agent: GPTBotDie folgenden Regeln gelten nur für den Crawler von OpenAI
Disallow: /admin/Alles, was mit /admin/ beginnt, nicht crawlen
Allow: /admin/hilfe/Ausnahme: dieser Ordner darf gecrawlt werden
Disallow: /*?sortierung=Jede URL mit ?sortierung= blockieren
Disallow: /*.pdf$URLs blockieren, die auf .pdf enden
Sitemap: https://…/sitemap.xmlDer Ort Ihrer XML-Sitemap

* für beliebige Zeichenfolgen und $ für „endet mit“ werden wie bei Google und Bing unterstützt. Der Abgleich folgt dem offiziellen Standard (RFC 9309): Die längste Regel gewinnt, bei Gleichstand gewinnt Allow. Sie können die erzeugte Datei von Hand bearbeiten.

URLs mit Umlauten

Enthalten Ihre Adressen Umlaute, etwa /größen/übersicht/, vergleichen Crawler den Pfad in der kodierten Form, die der Browser sendet: /gr%C3%B6%C3%9Fen/%C3%BCbersicht/. Google akzeptiert beide Schreibweisen in der robots.txt und kodiert selbst, andere Crawler nicht. Am sichersten schreiben Sie die Regel in kodierter Form oder nutzen für blockierte Bereiche Slugs ohne Umlaute (groessen, uebersicht). Prüfen Sie es immer mit „Eine URL testen“.

Eine URL testen

Bevor Sie die Datei hochladen, tragen Sie unter „Pfad oder URL“ eine Adresse ein und wählen den Crawler (Googlebot, Bingbot, GPTBot …). Sie sehen sofort, ob er zugreifen darf und welche Regel entscheidet. Der Tester prüft den Inhalt des Textfelds und damit auch Ihre Änderungen von Hand live.

Wichtig: Die robots.txt ist kein Sicherheitswerkzeug

  • Sie versteckt keine Seiten: Die Datei ist öffentlich, und einen geheimen Ordner darin zu nennen heißt, ihn anzukündigen. Schützen Sie private Bereiche mit einem Passwort.
  • Sie entfernt keine Seiten aus Google: Eine blockierte URL kann trotzdem erscheinen, wenn andere Websites darauf verlinken. Um eine Seite aus den Ergebnissen zu entfernen, erlauben Sie das Crawlen und setzen ein noindex-Meta-Tag (siehe unseren Meta-Tag-Generator).
  • Bösartige Crawler ignorieren sie: Seriöse Crawler halten sich an die robots.txt, Content-Scraper und Schadsoftware meist nicht.

KI-Crawler blockieren

Viele KI-Firmen durchsuchen das Web, um Sprachmodelle zu trainieren. Bei vielen können Sie in der robots.txt widersprechen: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (KI-Modelle von Google; die normale Suche ist nicht betroffen), CCBot (Common Crawl, von vielen KI-Projekten genutzt), Applebot-Extended, PerplexityBot, Bytespider und meta-externalagent. Mit „KI-Crawler blockieren“ wird die Regel mit einem Klick hinzugefügt, ohne Auswirkung auf Ihr Ranking bei Google oder Bing. Nach dem Urheberrechtsgesetz gilt für Text- und Data-Mining ein Nutzungsvorbehalt bei online zugänglichen Werken nur, wenn er in maschinenlesbarer Form erklärt ist; viele deutsche Verlage nutzen dafür die robots.txt zusammen mit einem Hinweis im Impressum. Neue Crawler tauchen häufig auf, prüfen Sie die Datei also gelegentlich.

Die robots.txt installieren

  • Laden Sie die Datei herunter. Sie muss genau robots.txt heißen, in Kleinbuchstaben.
  • Laden Sie sie ins Stammverzeichnis hoch, damit sie unter ihredomain.de/robots.txt erreichbar ist. Eine robots.txt in einem Unterordner wird ignoriert.
  • Jede Subdomain (etwa shop.example.com) braucht ihre eigene Datei.
  • Prüfen Sie sie im robots.txt-Bericht der Google Search Console.

Noch keine Sitemap? Erstellen Sie sie mit dem XML-Sitemap-Generator.

Häufige Fragen

Wo lege ich die robots.txt ab?
Im Stammverzeichnis Ihrer Website, damit sie unter https://ihredomain.de/robots.txt erreichbar ist. Dateien in Unterordnern werden ignoriert.
Wie blockiere ich KI-Bots wie GPTBot?
Markieren Sie die KI-Crawler, die Sie blockieren möchten. Der Generator fügt eine Gruppe mit deren User-Agents und „Disallow: /“ hinzu.
Schadet das Blockieren von KI-Crawlern meinem Google-Ranking?
Nein. Google-Extended steuert nur die Nutzung Ihrer Inhalte für Googles KI-Modelle; Googlebot, der die Suche betreibt, ist davon getrennt.
Wo muss die robots.txt liegen?
Im Stammverzeichnis Ihrer Website, also unter https://ihredomain.de/robots.txt. Dateien in Unterordnern werden ignoriert.
Wie blockiere ich KI-Crawler wie GPTBot?
Wählen Sie die KI-Crawler aus, die blockiert werden sollen. Der Generator fügt eine Gruppe mit ihren User-Agents und „Disallow: /“ hinzu.
Schadet das Blockieren von KI-Crawlern meinem Google-Ranking?
Nein. Google-Extended steuert nur die Nutzung Ihrer Inhalte durch die KI-Modelle von Google; der Googlebot für die Suche ist davon unabhängig.
Entfernt die robots.txt eine Seite aus Google?
Nein. Um eine Seite aus den Ergebnissen zu entfernen, nutzen Sie ein noindex-Meta-Tag (und erlauben das Crawlen). Die robots.txt steuert nur das Crawlen.
Was bedeutet „Disallow:“ ohne etwas dahinter?
Ein leeres Disallow bedeutet, dass nichts blockiert ist: Crawler dürfen die ganze Website besuchen.