ToolAtlas
FavoritenZuletzt

robots.txt-Generator

Verarbeitung in diesem Browser

Textlimit: 2000000 Zeichen

Dieses Tool lädt Ihre Eingabe nicht hoch.

Eine Textdatei für Crawler, keine Garantie, dass sich jeder Bot daran hält. Falsch Disallow kann die ganze Site verstecken.

Allow, Disallow, Sitemap-Zeile: robots.txt skizzieren. Kein Schalter bei Google.

Bots dürfen ignorieren. Menschliche Blockaden gehören in die Auth, nicht in robots.

Allow, Disallow, Sitemap

Kein Search-Console-Ersatz

Wir prüfen nicht, ob die Datei unter /robots.txt erreichbar ist. Nach dem Deploy selbst holen.

Keine Übertragung.

Ablauf und Stolpersteine

  1. Staging wirklich sperren, Produktion nicht mit Disallow: / aus Versehen.
  2. Sitemap-URL muss 200 liefern. Trailing-Slash-Chaos ist ein eigener Bug.
  3. Deploy nach /robots.txt und selbst anfordern. Wir crawlen nicht.

Stolperstein: noindex in Meta und Disallow gleichzeitig. Die Search Console erklärt den Konflikt besser als dieser Generator.

In der Praxis

Staging darf Disallow: /, Produktion fast nie. Nach dem Deploy https://ihre-domain/robots.txt selbst holen. Sitemap-Zeile ohne erreichbare Sitemap ist Schmuck. Search Console bleibt das Messinstrument.

Häufige Fragen

Ersetzt das die Search Console?

Nein. Eine Textdatei-Skizze. Ob Bots folgen, entscheiden die Bots. Indexierung prüfen Sie in der Search Console.

Title und Description?

Meta-Tag-Generator. Favicon extra.

Kann ich die ganze Site aus Versehen sperren?

Ja. Ein falsches Disallow: / ist ein Klassiker. Lesen Sie die Zeilen, bevor Sie deployen.

Muss die Sitemap-URL existieren?

Ja. Ein toter Sitemap:-Eintrag hilft niemandem.

Wird etwas gesendet?

Nein. Sie kopieren Text.

Verwandte Tools