Generador robots.txt

Crea y descarga directivas robots.txt para agentes, rutas permitidas o bloqueadas, demora de rastreo y una URL de sitemap.

Es una instrucción para rastreadores, no un control de acceso.