Gerador robots.txt

Monte e baixe diretivas robots.txt para agentes, caminhos permitidos ou bloqueados, intervalo de rastreamento e URL de sitemap.

É uma instrução para rastreadores, não um controle de acesso.