Googleのクロールを増やす方法

久しぶりにGoogleのウェブマスター ツール^*1をのぞいてみたら、いつの間にかクロール率の制御という項目が追加されていました。

これを使うことで、サイトのクロールの頻度を「多い」「良好」「少ない」の３段階で設定することが可能なようですので、クロール頻度を増やしたい場合にはサイトマップを登録してクロール頻度を「多い」にしてみてはいかがでしょうか。ちなみにこの頻度は設定から９０日でデフォルトの「良好」に戻るようになっているようです。

† クロールもほどほどに

注意書きにも書かれている通り、サーバの負荷に注意する必要があります。

Googlebot が、サーバーのリソースを過度に使用しないようクロールする頻度を制限しました。 より多くの Googlebot トラフィックを処理できる場合、[高速] オプションを選択することをお勧めします。高速クロールをご利用になると、より迅速なサイトのクロークが可能ですが、同時にお客様のサーバーにより多くの負荷がかかります。

特にクロールの対象となるコンテンツがNucleusのような動的生成型のツールを使って生成されている場合、不用意にクロール頻度を増やしたりすると、サーバが過負荷となってアカウントを停止されたり、最悪の場合サーバが落ちたりする可能性があります。特に共用サーバでユーザー数が多い場合には注意したほうがいいと思います。

• ^*1: sitemapsを登録するところです