サイトが突然、検索ランキング圏外になったとき【Google】

ウェブサイトを作成していて、検索順位が急に圏外となったとき、まず最初に確認すべき項目について、まとめておきます。サイトの “403 Forbidden” 、クロールエラー等の原因を切り分けて、対処する手順のまとめです。

環境：レンタルサーバー（ConoHa VPS）、CentOS、WordPress
Google Search Console の設定済み

背景

サーバーをレンタルしてウェブサイトを作成し、サイトの各ページを追加しています。
サイト全体のデザイン、各ページの記載について改善を続けたところ、しだいにグーグル検索での検索順位が上がってきました。

サイトの改善を続けていたところ、ある日、突然、Google の検索結果のランキングから、自分のサイトが消えました。ほぼすべて（？）のページが Google 検索で表示されなくなりました。
前日（６時間ほど前？）までは正常に表示されていたので、Google 側で何らかの変更があったようです。

１～２日が経ったところ、一部のページは検索結果に表示され、復旧しました。しかし、他のページは表示されないままです。ページのタイトル文字を allintitle で検索しても出てきません。意図的に検索結果から除外されていると考えられます。
ページの修正は常に行っており、ペナルティを受けている可能性も考えられます。そこで、記載を以前の状態に戻しても／記事を修正しても、以後、検索にまったくかからなくなります。

確認 & 対処方法

ステップ１：サイトがインデックスされていることを確認する

ブラウザでグーグルなどの検索サイトを表示し、検索窓に “site: （調べたいサイトの URL）” と入力し検索を実行し、以下を確認します。

確認事項
・　サイトがインデックスされているかどうか、つまり自分のサイトが検索に引っかかるかどうかを確認します。
・　また、上記の検索結果でヒット数がいくつとなっているかを確認します。
公開している記事数とヒット数に差異があるか、増減があるか（減っていないか）を確認します。
・　以前に比べヒット数が大きく減った場合や、（ヒット数）＜＜（公開している記事数）となった場合は、サイト側で行った修正や、検索サービス側での運用の変更など、何か変化が生じたことがわかります。
具体的には、クローラーがサイトにアクセスしたとき、サーバー側でブロックされ、その結果、検索サイトに登録（インデックス）されなくなった、などの原因が考えられます。

参考：　【Google】サイトがインデックスされているかどうかを確認する方法

ステップ２：グーグルサーチコンソールで確認し登録をリクエストする

①　Google 検索ランキングで、検索にひっかからない（圏外となっている）ページの URL を抽出しておきます。
②　Google Search Console にログインし、「URL検査」をクリックします。
★　Google Search Console の設定をしていない場合は、済ませてしまいましょう。
③　入力欄に ① の URL + [enter] を入力します。
④　「URL が Google に登録されていません…」と表示される場合は、「インデックス登録をリクエストする」をクリックして、表示にしたがい、Google に対し、リクエストを行います。
⑤　①の複数の URL について、③～④を繰り返し、アクセス数が多いページ／できるだけ多くのページについて登録のリクエストを完了させます。

→　私の場合、リクエストしたページについては復帰しました。
（ほぼ、復活しました。ランキングが多少、動いたような。。）

原因を特定していく方法

ランキング圏外となったとき、原因を切り分けて特定していく方法をまとめておきます。
原因を特定して対策するというステップになると思います。

サーチコンソールのURL検査結果で、ステータスコード等を確認する

サーチコンソールの URL 検査の結果から、クロールエラー等の原因を特定していきます。
例えば、上記の④で、「アクセス禁止（403）が原因でブロックされました」との記載がある場合、Google のボット/robots がサイトにアクセスしたときに、自分のサイトのサーバ側に何らかの問題があって、アクセスできなかった可能性があります。すなわち、サーバー側でグーグルのクローラーを弾いてしまっているケースです。
そのほか、検査結果の記載から、原因を特定していきます。

★　なお、”403″ 等のブラウザやサーバーのエラーコード（HTTPステータスコード）については、以下のリンク先にまとめています。詳細については参照してみてください。
・　サーバーのエラーコードのまとめ【Webサーバー】

ブラウザからサイトを直接確認する

それでも原因が不明なとき、サイトのページを直接確認する方法があります。

確認手順　（Microsoft Edge で確認する事例）
①　ブラウザで、検索ランキングの圏外となった URL にアクセスします。
②　ブラウザ上で、左クリック　→　「開発者ツールで調査する」をクリックします。
③　表示された開発者ツールの欄で、エラーの表示が出ていないかどうかを確認します。

※　サーバーが止まっている場合、①で「申し訳ございません。このページに到達できません」といったエラーが表示されます。
※　また、サイトの HTML などに問題がある場合は、開発ツールの画面の右下のあたりに赤色等でエラーが表示されると思います。
よくあるケースとしては、WordPress で記事を追加するとき、「テキスト」タブから直接 HTML を記載したとき、タグ、表などの記載にミスタイプがあると記事自体がエラーになってしまうことがあります。ページにエラーが生じている場合は、早急に解消してしまいましょう。

検索順位が圏外となる要因

ランキング圏外となる要因についてパターン分けをしておきます。

自分のサイト・サーバー側の要因

要因	例
サーバー・CMS に起因する問題	・　Web サーバーが停止した。・　サーバーやWordPress の設定中、修正中に bot のアクセスがあり、アクセス禁止(403)が原因で検索ランキングから除外された。・　サイトを大幅に修正した。その結果、検索サイト側ではインデックスの取得をやり直すことになった。
サイト、各ページの質の問題	・　サイトの記載内容の質が十分でないと判断され、検索ランキングから除外された。
ペナルティ対象に該当	・　記事、Hタグなどにキーワードを詰め込みすぎ、ペナルティ条件に該当した。・　新たなページを追加したとき、過去に作った他のページと類似した記載になった。その結果、重複コンテンツと判断され、ペナルティ条件に該当した。

検索サイト（Google）側の要因

要因	例
検索順位のインデックスの一時的な要因	・　検索アルゴリズムの改善・修正により順位が変動した。・　bot／クローラーのアクセスにより、ランクづけが変動した。
Google アップデート要因	・　Google アップデートにより、検索ランキングの評価基準が変更となった。
Google の記事の評価基準のアップデート	・　分野ごとの記事の評価基準の変更・アップデートがあった。
競合サイトの影響	・　競合サイトの参入・改善、SEO 対策に伴って、自分のサイトの評価が相対的に下がった／陳腐化した。

・　圏外となった理由が、Google などの検索サイト側にある場合、検索サイトを Bing 等に変更して検索結果を比較することで、検索サイト固有の要因であるかどうかを判別できます。
・　また、原因が検索サイト側である場合、検索アルゴリズムの詳細は非公開ですので、考えていても仕方がありません。
頭を切り替えて、すぐにできること、自分のサイトの改善を進めていくことが近道と思われます。