robots.txt

ロボットテキスト
検索エンジンのクローラーに対し、クロール対象とするコンテンツを伝達するファイルを指す。
サイトを巡回するクローラーを制限して不要なファイルのページをインデックス対象から外したり、逆にサイトマップを知らせるための記述などもすることができる。