インターネットでは、クローラーがページを巡回することで情報を取得し、検索エンジンに表示されるようになります。
このクローラーに対して、どのページを巡回すれば良いのか指示を与えるためのタグが『robots.txt』です。
Bloggerでは、robots.txtはあらかじめ設定されています。
しかし、robots.txtの内容を書き換えて、自分で設定を加えることもできます。
この記事では、Bloggerの『robots.txt』の設定方法や、最適な書き方についてまとめていきます。
クローラーや検索エンジンの仕組みについては、こちらの記事でわかりやすく解説しています。
>>検索エンジンの仕組みをレストランに例えて解説【クロール・インデックス】
robots.txtの設定方法
Bloggerの管理画面から『設定』→『検索設定』へと移動します。
『独自のrobots.txt』という項目の『編集』を選択すると次のような画面になり、ここでrobots.txtを設定していきます。
まず、通常のBloggerで設定されているrobots.txtをみてみましょう。
これは『独自のrobots.txt』には表示されていませんが、あらかじめBloggerで設定されているものです。
『User-agent: 』で、クローラーの種類を指定しています。
『User-agent: Mediapartners-Google』は、アドセンスのクローラーを指定しています。
アドセンスのクローラーに『Disallow: 』を指定しないことで、アドセンスのクローラーは全てのページを巡回することができます。
『User-agent: *』は、googleや他の検索エンジン全てのクローラーを指定しています。
『Disallow: /search』を設定することで、ラベルのページやアーカイブのページに、クローラーが巡回できないようにしています。
また『Allow: /』を設定することで、それ以外のページにクローラーが巡回できるようにしています。
このコードを『独自のrobots.txt』に追加することで、sitemapの設定を加え、ラベルのページにクローラーが巡回できるようになります。
sitemapの設定は、Seach Console側でsitemapの送信をしている場合、Bloggerでは設定しなくても大丈夫です。
また、sitemapに設定しているURL部分は、自分のブログURLを設定しましょう。
Search Consoleの設定方法についてはこちらをご覧ください。
>>【Blogger】サーチコンソールの登録・初期設定をしよう
カスタマイズしたコードでは、『Allow: /search/label/』を設定することで、ラベルのページにクローラーが巡回できるようにしています。
ラベルのページについて、サイト自体の人気が高くなると、ラベルのページも検索結果に表示されやすくなります。
『Disallow: /*archive』を設定することで、アーカイブページ(年月別)にクローラーが巡回しないように設定しています。
アーカイブページについては、検索結果に表示されてもあまり需要はないでしょう。
また、ラベルとアーカイブを同時に表示すると、重複するコンテンツと見なされてしまうことがあるので、アーカイブはDisallowにします。
『独自のrobots.txt』という項目の『編集』を選択すると次のような画面になり、ここでrobots.txtを設定していきます。
まず、通常のBloggerで設定されているrobots.txtをみてみましょう。
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
これは『独自のrobots.txt』には表示されていませんが、あらかじめBloggerで設定されているものです。
『User-agent: 』で、クローラーの種類を指定しています。
『User-agent: Mediapartners-Google』は、アドセンスのクローラーを指定しています。
アドセンスのクローラーに『Disallow: 』を指定しないことで、アドセンスのクローラーは全てのページを巡回することができます。
『User-agent: *』は、googleや他の検索エンジン全てのクローラーを指定しています。
『Disallow: /search』を設定することで、ラベルのページやアーカイブのページに、クローラーが巡回できないようにしています。
また『Allow: /』を設定することで、それ以外のページにクローラーが巡回できるようにしています。
クローラーが巡回しないと検索結果に表示されないなび！
では、これを少しカスタマイズしてみましょう。User-agent:*
Allow: /search/label/
Disallow: /*archive
Sitemap: https://blogger-nav.blogspot.com/sitemap.com
このコードを『独自のrobots.txt』に追加することで、sitemapの設定を加え、ラベルのページにクローラーが巡回できるようになります。
sitemapの設定は、Seach Console側でsitemapの送信をしている場合、Bloggerでは設定しなくても大丈夫です。
また、sitemapに設定しているURL部分は、自分のブログURLを設定しましょう。
Search Consoleの設定方法についてはこちらをご覧ください。
>>【Blogger】サーチコンソールの登録・初期設定をしよう
カスタマイズしたコードでは、『Allow: /search/label/』を設定することで、ラベルのページにクローラーが巡回できるようにしています。
ラベルのページについて、サイト自体の人気が高くなると、ラベルのページも検索結果に表示されやすくなります。
『Disallow: /*archive』を設定することで、アーカイブページ(年月別)にクローラーが巡回しないように設定しています。
アーカイブページについては、検索結果に表示されてもあまり需要はないでしょう。
また、ラベルとアーカイブを同時に表示すると、重複するコンテンツと見なされてしまうことがあるので、アーカイブはDisallowにします。
ラベルページは検索結果に表示するべき？
先ほども書いた通り、Bloggerでは通常だと、ラベルのページは検索結果に表示されません。
しかし、上の手順でrobots.txtを書き換えることにより、ラベルページも検索結果に表示できるようになります。
では、ラベルページは検索結果に表示するべきかというと、必ずしもそうとはいえません。
ラベルのページを検索結果に表示させることは、ある程度アクセスのあるサイトの場合に有効です。
逆にアクセスが少ない間は、ラベルのページが検索されることはほとんどないので、記事にパワーを集中させた方が良いでしょう。
まとめ
Bloggerの『robots.txt』は、そのままの設定でも十分です。
ですが、ラベルページも検索結果に表示したい場合は、カスタマイズしたものを使用しましょう。
クローラーや検索エンジンの仕組みについては、こちらの記事でわかりやすく解説しています。
>>検索エンジンの仕組みをレストランに例えて解説【クロール・インデックス】
クローラーや検索エンジンの仕組みについては、こちらの記事でわかりやすく解説しています。
>>検索エンジンの仕組みをレストランに例えて解説【クロール・インデックス】
コメント