Robots.txt-Generator

Erstelle und lade robots.txt-Regeln für User-Agents, erlaubte oder gesperrte Pfade, Crawl-Verzögerung und eine Sitemap-URL herunter.