大規模なサイト所有者向けのクロール バジェット管理ガイド このガイドでは、大規模かつ頻繁に更新されるサイトの Google のクロールを最適化する方法について説明します。 サイト内で頻繁に更新されるページがそれほど多くない場合や、ページが公開日と同じ日にクロールされると考えられる場合は、このガイドを読む必要はありません。サイトマップを最新の状態に保ち、定期的にインデックス カバレッジを確認するだけで十分です。 しかし、提供後しばらく経ったにもかかわらずインデックスに登録されていないコンテンツがある場合は、別の問題がある可能性があります。その場合は、URL 検査ツールを使用して、ページがインデックスに登録されていない理由を確認してください。 このガイドの対象読者 これは上級者向けのガイドであり、以下のサイトを対象としています。 大規模（重複のないページが 100 万以上）で、コンテンツが中程
Tuesday, November 24, 2020 To help website owners better understand how Googlebot crawls their sites, we're launching a brand new version of the Crawl stats report in Search Console. The new Crawl Stats report brings the following exciting new features: Total number of requests grouped by response code, crawled file type, crawl purpose, and Googlebot type. Detailed information on host status URL e
[レベル: 上級] Googlebot が HTTP/2 でのクロールを開始しました。 2020 年 11 月から HTTP/2 でクロールし始めることを Google は 9 月下旬にアナウンスしていました。 予定どおりの実施です。 サーバーログで、Googlebot の h2 クロールを確認 予想外に（理由は後述）、HTTP/2 による Googlebot のクロールを僕のブログでもサーバーログで確認できました。 www.suzukikenichi.com 172.69.69.207 - - [14/Nov/2020:03:46:49 +0900] "GET /blog/how-to-set-up-503-error/ HTTP/2.0" 200 32415 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) A
WSJ: GoogleBot can add products to shopping carts Make sure to double check those abandoned cart metrics; they may be inflated. A Google crawler has been adding products to e-commerce site shopping carts, the Wall Street Journal reported Wednesday. Sellers have been complaining about a serial cart abandoner named, John Smith. Turns out John is a Google bot. A Google spokesperson told the Wall Stre
+1 ボタン 2 AMP 11 API 3 App Indexing 8 CAPTCHA 1 Chrome 2 First Click Free 1 Google アシスタント 1 Google ニュース 1 Google プレイス 2 Javascript 1 Lighthouse 4 Merchant Center 8 NoHacked 4 PageSpeed Insights 1 reCAPTCHA v3 1 Search Console 101 speed 1 イベント 25 ウェブマスターガイドライン 57 ウェブマスタークイズ 2 ウェブマスターツール 83 ウェブマスターフォーラム 10 オートコンプリート 1 お知らせ 69 クロールとインデックス 75 サイトクリニック 4 サイトマップ 15 しごと検索 1 スマートフォン 11 セーフブラウジング 5 セキュリティ 1
[レベル: 上級] この記事では、Googlebot によるレンダリングを検証、デバッグする方法を4つ紹介します。 Googlebot ＝ Chrome 41 まず、前提知識として知っておかなければならないことは、Googlebot がレンダリングする仕組み (Web Rendering System、略して WRS と呼ぶ）は、Chrome 41 に相当するということです。 この記事を書いている時点では、Chrome の最新バージョンは 65 です。 現在利用されている ES6 の機能のごく一部しか Googlebot はサポートできていません。 たとえば、CSS カスタムプロパティや Strict mode、IndexedDB をサポートしていません。 Chrome 41 がリリースされたのは、2015年3月です。 つまり、SEO を意識するなら、3年前のブラウザに合わせなければならな
コメント欄にあるmamikoさんの情報を見て、投稿タイトルを”「Googlebot がサイトにアクセスできません」というメールと、ムームーがDDos攻撃を受けていた話。”から変更しました 「Googlebot がサイトにアクセスできません」とテンプレのメールが数日前に届きました。 Googlebot がサイトの DNS 情報の取得を試みましたが、過去 24 時間で ●件のエラーが発生しました。このサイト全体での DNS クエリのエラー率は●% です。 まあ時々お目にかかるヤツだと思ったのですが、いつもと違って件数が多いです。 改めてウェブマスターツールで見ると・・・ エラー数 / 試行回数：92 / 135（68%） ええ？なんかいつも数件なのに今回は92件も！と思ったわけで。 ウェブマスターツールの推奨される対処を見ると、これかな？と思われる原因が１つありました。 サイトのエラー率が 1
LinkedIn アカウントを開設しました: Google 検索でサイトを見つけやすくするためのニュースやリソースについては、LinkedIn アカウントをフォローしてください。 APIs-Google ユーザー エージェント APIs-Google は、Google API がプッシュ通知メッセージの配信に使用するユーザーエージェントです。アプリケーションのデベロッパーはこの通知をリクエストすることで、関連リソースが変更されたかどうかを確認するために Google のサーバーを継続的にポーリングする必要がなくなります。このサービスの不正利用を防止するために、Google ではデベロッパーに対して、メッセージの受信場所としてドメインと URL を登録する前に、デベロッパーが当該ドメインの所有者であることを証明するよう求めています。 APIs-Google がサイトにアクセスする方法 API
+1 ボタン 2 AMP 11 API 3 App Indexing 8 CAPTCHA 1 Chrome 2 First Click Free 1 Google アシスタント 1 Google ニュース 1 Google プレイス 2 Javascript 1 Lighthouse 4 Merchant Center 8 NoHacked 4 PageSpeed Insights 1 reCAPTCHA v3 1 Search Console 101 speed 1 イベント 25 ウェブマスターガイドライン 57 ウェブマスタークイズ 2 ウェブマスターツール 83 ウェブマスターフォーラム 10 オートコンプリート 1 お知らせ 69 クロールとインデックス 75 サイトクリニック 4 サイトマップ 15 しごと検索 1 スマートフォン 11 セーフブラウジング 5 セキュリティ 1
Googleクローラ、TLS 1.2 のサポートを開始 Googlebot が トランスポート・レイヤー・セキュリティー（TLS）1.2 にも対応、サイトのインデックス可能に。 公開日時：2015年02月02日 10:45 米Google は2015年1月30日、同社のウェブ巡回クローラ Googlebot が TLS バージョン1.2に対応したことを 公式Google+ページで発表した。 TLS は Transport Layer Security の略で、データを暗号化して送受信するセキュリティーのための通信プロトコル。Googlebot は TLS 1.0、1.1、SSLv3 には既に対応している。古い OpenSSL は脆弱性があり、同社は最新バージョンの TLS を使うことを強く推奨している。 Google I/O 2014 - HTTPS Everywhere HTTPS でサ
Google、「地域分散クロール」と「言語依存クロール」を開始 Google、同じURLで異なるコンテンツをアクセス元や使用言語に基づいて切替る地域対応ページ（Local-Adaptive Pages）のインデックス登録処理を行うために、地域認識クロールを導入。 公開日時：2015年01月29日 00:23 米Google は2015年1月28日、同じURLながら検出したユーザーの来訪国や使用言語に基づいて異なるコンテンツを返すウェブページ（地域対応ページ、 Locale-Adaptive Pages）のインデックス登録を改善するために、地域認識クロールを導入することを公式ブログで発表した。 全ての国・言語版のウェブページがインデックスされない問題 Googlebot が一般的に利用するIPアドレスは米国と判定されるうえ、クローラは HTTPリクエストヘッダーに Accept-Langua
Google は「あらゆる画像/CSS/JavaScriptファイルをクロールさせなさい」とは発言していない Google の発言の意図や背景を正しく理解しないと、SEO の実行において困ることは多々あります。CSS や JavaScript のクロールの件も、1つでも拒否すると検索結果に悪影響があるとは言っていません。 公開日時：2014年11月07日 11:53 Google が発表する様々な新機能やサービスは、その背景や意図・意義まできちんと把握しておくことが大切です。表面的な情報だけを拾っていると、「自分のサイトの場合」はどう対処すればいいのかがわからなくなったり、見当違いの対処をしてしまうことになりえます。 まず重くなるという事。ページの表示速度はSEOに関連してくるので、軽い方が良いのですが、はてなスター程度だと普段はそれほど高速回線なら影響はほとんど無いとは思いますが、０とは
小ネタ：更新頻度とインデックス完了所要時間の関係 毎日更新続けていた頃の方が、Googleがインデックス完了するまでの時間は圧倒的に短い。 公開日時：2013年12月03日 05:03 小ネタシリーズ。これは講演などではよく紹介するのですが、当サイト（www.sem-r.com）は2003年夏から開始して以来、2008年くらいまで？はほぼ毎日更新していたものの、だんだんおろそかになり今は時折不定期更新になっております。 ただ、更新をサボっていてもデータだけはきちんと取得しており、サイトの更新頻度とGoogleのクローリングの関係は調査をしています。記事を初めてインターネットに公開してから、検索結果に表示されるようになるまでどの程度の時間を要するのか -- (a) 毎日更新を1年以上継続していた時期、(b) 6ヶ月以上継続していた時期、(c) （1ヶ月ほど更新さぼり）久しぶりに更新を開始して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く