Générateur robots.txt
Créez et téléchargez des directives robots.txt pour les agents, les chemins autorisés ou bloqués, le délai d’exploration et une URL de sitemap.
Instruction destinée aux robots, pas un contrôle d’accès.
Créez et téléchargez des directives robots.txt pour les agents, les chemins autorisés ou bloqués, le délai d’exploration et une URL de sitemap.
Instruction destinée aux robots, pas un contrôle d’accès.