So funktioniert es
- 1
User-agent wählen
z. B. * für alle Crawler oder Googlebot gezielt.
- 2
Allow & Disallow
Pfade erlauben oder für Crawler sperren.
- 3
robots.txt exportieren
Sitemap-Zeile ergänzen, kopieren oder Datei herunterladen.
Wofür ist dieses Tool nützlich?
- robots.txt für neue Website erstellen
- Staging- und Admin-Bereiche sperren
- Sitemap in robots.txt verlinken
- Crawl-Budget steuern
- robot.txt Generator ohne Programmierkenntnisse
Trending jetzt
Aktuell besonders haeufig genutzte Tools auf okimg.de.
- Keyword-Dichte prüfenKeyword-Dichte prüfen: Vorkommen und Prozent für Fokus- und Long-Tail-Keywords — im Browser.
- Rechnung erstellen kostenlosRechnung mit Positionen und MwSt. als PDF — Absender, Kunde, Summen; pdf-lib lokal, ohne Upload.
- Bewerbungsunterlagen als PDFKomplette Bewerbung als eine PDF — Unterlagen mergen, Reihenfolge wählen, ohne Server-Upload.
- Bewerbungsfoto in Schwarz-WeißBewerbungsfoto als Graustufen — klassischer Look für CV, nur im Browser.
- Impressum Generator kostenlosImpressum online erzeugen — § 5 TMG, HTML/Text kopieren, kostenlos ohne Server-Upload.
- Bild zu ICOfavicon.ico aus einem Bild — quadratische Größe wählbar, für Website-Icons.
Häufige Fragen
- Wie erstelle ich eine robots.txt online?
- Regeln im Generator eintragen, Vorschau prüfen und die Datei kopieren oder herunterladen. Dann ins Root der Domain legen (https://beispiel.de/robots.txt).
- robots.txt oder robot.txt – was ist richtig?
- Korrekt ist robots.txt (mit s). Viele suchen „robot.txt generator“ – dieses Tool erstellt die richtige Dateiname-Syntax.
- Blockiert robots.txt das Indexieren?
- Nein. robots.txt steuert nur das Crawlen. Für „nicht indexieren“ brauchst du noindex (Meta oder Header) – Disallow allein reicht nicht.
- Wo liegt robots.txt auf dem Server?
- Immer im Root: https://deine-domain.de/robots.txt – nicht in Unterordnern.
- Kann ich mehrere Disallow-Zeilen haben?
- Ja. Mehrere Allow- und Disallow-Pfade pro User-agent sind üblich und erlaubt.
- Ist der robots.txt Generator kostenlos?
- Ja. Kostenlos und ohne Registrierung – direkt im Browser.
Warum eine saubere robots.txt Rankings und Crawl-Budget schützt
Die robots.txt steuert, welche URL-Pfade Crawler besuchen dürfen. Ohne sie landen Bots oft in Staging, Admin, Filter-URLs oder Duplicates – das verbraucht Crawl-Budget und verdünnt Signale.
Bei Relaunches und Shop-Launches ist robots.txt einer der ersten Checks: Eine vergessene Disallow: / kann Wochen Index-Probleme verursachen.
Online erstellen mit Vorschau ist sicherer als manuelles FTP-Editieren: fehlende Leerzeichen oder falsche Pfade führen leicht dazu, dass Regeln ignoriert werden.
robots.txt richtig einsetzen – Leitfaden mit Beispielen
robots.txt ist klein, aber wirkungsvoll. Hier die wichtigsten Direktiven, typische Setups und Fehler, die Indexierung und Crawl-Budget kosten.
Was robots.txt kann – und was nicht
robots.txt ist eine Crawler-Anweisung, kein Sicherheitsfeature und kein Ersatz für noindex. Gesperrte URLs können trotzdem indexiert werden, wenn Google sie über Links kennt – dann oft ohne Snippet.
| Ziel | Richtiges Mittel | robots.txt allein? |
|---|---|---|
| Pfad nicht crawlen | Disallow | Ja |
| Seite nicht indexieren | noindex (Meta/Header) | Nein |
| Soft-404 / Login schützen | Auth / Server-Config | Nein |
| Sitemap melden | Sitemap:-Zeile | Ja (ergänzend zu GSC) |
| Canonical setzen | rel=canonical | Nein |
Faustregel: Crawling steuern ≠ Indexierung steuern.
Wichtige Direktiven
| Direktive | Bedeutung | Beispiel |
|---|---|---|
| User-agent | Für welchen Bot die Regeln gelten | User-agent: * |
| Disallow | Pfad nicht crawlen | Disallow: /admin/ |
| Allow | Ausnahme innerhalb Disallow | Allow: /public/ |
| Sitemap | URL zur XML-Sitemap | Sitemap: https://example.de/sitemap.xml |
| Crawl-delay | Pause zwischen Requests (nicht von Google unterstützt) | Crawl-delay: 10 |
Google ignoriert Crawl-delay; für Googlebot lieber saubere URL-Struktur und Hosting-Limits.
Beispiel-Setups
Starter für die meisten Websites: alles erlaubt, Sitemap gesetzt, sensible Pfade gesperrt.
- User-agent: * → Disallow: /wp-admin/ (WordPress) oder /api/intern/
- Sitemap: https://deine-domain.de/sitemap.xml
- Staging: User-agent: * + Disallow: / (ganze Staging-Domain sperren)
- Next.js: oft /_next/ nicht pauschal sperren – nur wirklich interne Pfade
| Szenario | Empfehlung |
|---|---|
| Live-Website | Nur Admin, Suche, Filter-Junk sperren |
| Staging / Preview | Disallow: / für alle Agents |
| Shop mit Facetten | Parameter-URLs gezielt Disallow oder besser Canonical |
| PDF-/Asset-Hosting | Nur crawlen lassen, was ranken soll |
Häufige Fehler
- Falscher Dateiname (robot.txt statt robots.txt)
- Datei nicht im Root (z. B. /blog/robots.txt)
- Disallow: / auf Production vergessen nach Go-Live
- Sitemap-URL mit Tippfehler oder HTTP statt HTTPS
- robots.txt als „Passwort“ für /admin missverstehen
Workflow nach dem Erstellen
1) Mit diesem Generator erzeugen. 2) Mit dem robots.txt Validator prüfen. 3) Sitemap erstellen/validieren. 4) In Google Search Console die robots.txt und die Sitemap einreichen. 5) Content-Seiten mit SEO Textanalyse und Keyword-Dichte vor Publish checken.
Vorteile, Formate und Datenschutz
Vorteile
- Kostenlos
- robots.txt Generator
- Ohne Anmeldung
- Download
- Sitemap-Zeile
Unterstützte Formate
robots.txt
Datenschutz
Deine Eingaben werden ausschließlich in deinem Browser verarbeitet und nicht hochgeladen.
Kategorie
Dieses Tool gehört zu Alle SEO-Tools. Dort findest du alle verwandten Tools in einer Übersicht.
Passende Tools
- robots.txt Validatorrobots.txt auf Syntax, Disallow und Sitemap-URLs prüfen — im Browser.
- Sitemap XML Generatorsitemap.xml aus URL-Liste — lastmod, changefreq, priority; Download, nur im Browser.
- Sitemap Validatorsitemap.xml validieren: URLs, priority, changefreq — kostenlos online.
- SEO TextanalyseSEO Text prüfen: Wörter, Lesedauer, Überschriften und Keyword-Dichte — kostenlos im Browser.
- Keyword-Dichte prüfenKeyword-Dichte prüfen: Vorkommen und Prozent für Fokus- und Long-Tail-Keywords — im Browser.
- Meta-Tag-GeneratorSEO-Snippets für den HTML-Kopf: Titel, Description, Open Graph, Twitter — HTML kopieren.
- Canonical URL GeneratorCanonical-URL & link rel=canonical — Domain + Pfad, HTML kopieren, nur im Browser.
- llms.txt Generatorllms.txt für KI-Crawler — Website-Beschreibung und wichtige Links.
Auch nützlich
Weitere Tools aus anderen Kategorien — vielleicht brauchst du sie demnächst.
- Miete oder Kaufen RechnerKostenvergleich Miete vs. Eigentum über mehrere Jahre — im Browser.
- PDF für Bewerbung sortierenBewerbungs-PDFs anordnen (↑/↓) und zu einer Datei zusammenführen — nur im Browser.
- Text umkehrenZeichenfolge spiegeln (Reverse) — inkl. Emoji/Grapheme-Unterstützung wo verfügbar.
- Vinted Titel GeneratorListing-Titel für Vinted mit Marke und Größe.
- Lebenslauf Wörter zählenWortanzahl im Lebenslauf live zählen — Zeichen und Zeilen, ohne Upload.
- PDF in Graustufen umwandelnPDF in Schwarz-Weiß/Graustufen — Seiten lokal rendern; pdf.js + pdf-lib.