robots.txt生成

ユーザーエージェント、許可または拒否するパス、クロール間隔、サイトマップURLのrobots.txtルールを作成してダウンロードします。