sitemap.xmlとrobots.txtの確認方法 「うちのサイトにはあるのかないのかわからないなあ…」という場合、ご自身のサイトの末尾に下記のように入力し、そもそも設置がされているのか確認してみましょう。 何やら機械的な文字がズラズラと出てきた場合、設定されています。 「404エラー」などと出てきた場合は、そもそも設定自体がされていない可能性があります。 robots.txtの役割 検索エンジンは、クローラーと呼ばれるロボットにサイトを巡回（クロール）させ、サイトの情報を取得しています。 robots.txtは、主に検索エンジンの巡回を指示するファイルです。クローラーは、robotst.txtを一番最初に読み込んで、クロールすべきページとクロールすべきでないページを確認し、効率的にサイトを見ています。 主な用途は以下のふたつです。 検索エンジンのクローラーに対してファイル又はディレク