ウェブサイトを作成していて、検索順位が急に圏外となったとき、まず最初に確認すべき項目について、まとめておきます。サイトの “403 Forbidden” 、クロールエラー等の原因を切り分けて、対処する手順のまとめです。
環境: レンタルサーバー(ConoHa VPS)、CentOS、WordPress
Google Search Console の設定済み
背景
サーバーをレンタルしてウェブサイトを作成し、サイトの各ページを追加しています。
サイト全体のデザイン、各ページの記載について改善を続けたところ、しだいにグーグル検索での検索順位が上がってきました。
サイトの改善を続けていたところ、ある日、突然、Google の検索結果のランキングから、自分のサイトが消えました。ほぼすべて(?)のページが Google 検索で表示されなくなりました。
前日(6時間ほど前?)までは正常に表示されていたので、Google 側で何らかの変更があったようです。
1~2日が経ったところ、一部のページは検索結果に表示され、復旧しました。しかし、他のページは表示されないままです。ページのタイトル文字を allintitle で検索しても出てきません。意図的に検索結果から除外されていると考えられます。
ページの修正は常に行っており、ペナルティを受けている可能性も考えられます。そこで、記載を以前の状態に戻しても/記事を修正しても、以後、検索にまったくかからなくなります。
確認 & 対処方法
ステップ1:サイトがインデックスされていることを確認する
ブラウザでグーグルなどの検索サイトを表示し、検索窓に “site: (調べたいサイトの URL)” と入力し検索を実行し、以下を確認します。
確認事項
・ サイトがインデックスされているかどうか、つまり自分のサイトが検索に引っかかるかどうかを確認します。
・ また、上記の検索結果でヒット数がいくつとなっているかを確認します。
公開している記事数とヒット数に差異があるか、増減があるか(減っていないか)を確認します。
・ 以前に比べヒット数が大きく減った場合や、(ヒット数)<<(公開している記事数)となった場合は、サイト側で行った修正や、検索サービス側での運用の変更など、何か変化が生じたことがわかります。
具体的には、クローラーがサイトにアクセスしたとき、サーバー側でブロックされ、その結果、検索サイトに登録(インデックス)されなくなった、などの原因が考えられます。
参考: 【Google】 サイトがインデックスされているかどうかを確認する方法
ステップ2:グーグルサーチコンソールで確認し登録をリクエストする
① Google 検索ランキングで、検索にひっかからない(圏外となっている)ページの URL を抽出しておきます。
② Google Search Console にログインし、「URL検査」をクリックします。
★ Google Search Console の設定をしていない場合は、済ませてしまいましょう。
③ 入力欄に ① の URL + [enter] を入力します。
④ 「URL が Google に登録されていません…」と表示される場合は、「インデックス登録をリクエストする」をクリックして、表示にしたがい、Google に対し、リクエストを行います。
⑤ ①の複数の URL について、③~④を繰り返し、アクセス数が多いページ/できるだけ多くのページについて登録のリクエストを完了させます。
→ 私の場合、リクエストしたページについては復帰しました。
(ほぼ、復活しました。ランキングが多少、動いたような。。)
原因を特定していく方法
ランキング圏外となったとき、原因を切り分けて特定していく方法をまとめておきます。
原因を特定して対策するというステップになると思います。
サーチコンソールのURL検査結果で、ステータスコード等を確認する
サーチコンソールの URL 検査の結果から、クロールエラー等の原因を特定していきます。
例えば、上記の④で、「アクセス禁止(403)が原因でブロックされました」との記載がある場合、Google のボット/robots がサイトにアクセスしたときに、自分のサイトのサーバ側に何らかの問題があって、アクセスできなかった可能性があります。すなわち、サーバー側でグーグルのクローラーを弾いてしまっているケースです。
そのほか、検査結果の記載から、原因を特定していきます。
★ なお、”403″ 等のブラウザやサーバーのエラーコード(HTTPステータスコード)については、以下のリンク先にまとめています。詳細については参照してみてください。
・ サーバーのエラーコードのまとめ 【Webサーバー】
ブラウザからサイトを直接確認する
それでも原因が不明なとき、サイトのページを直接確認する方法があります。
確認手順 (Microsoft Edge で確認する事例)
① ブラウザで、検索ランキングの圏外となった URL にアクセスします。
② ブラウザ上で、左クリック → 「開発者ツールで調査する」をクリックします。
③ 表示された開発者ツールの欄で、エラーの表示が出ていないかどうかを確認します。
※ サーバーが止まっている場合、①で「申し訳ございません。このページに到達できません」といったエラーが表示されます。
※ また、サイトの HTML などに問題がある場合は、開発ツールの画面の右下のあたりに赤色等でエラーが表示されると思います。
よくあるケースとしては、WordPress で記事を追加するとき、「テキスト」タブから直接 HTML を記載したとき、タグ、表などの記載にミスタイプがあると記事自体がエラーになってしまうことがあります。ページにエラーが生じている場合は、早急に解消してしまいましょう。
検索順位が圏外となる要因
ランキング圏外となる要因についてパターン分けをしておきます。
自分のサイト・サーバー側の要因
要因 | 例 |
サーバー・CMS に起因する問題 | ・ Web サーバーが停止した。 ・ サーバーやWordPress の設定中、修正中に bot のアクセスがあり、アクセス禁止(403)が原因で検索ランキングから除外された。 ・ サイトを大幅に修正した。その結果、検索サイト側ではインデックスの取得をやり直すことになった。 |
サイト、各ページの質の問題 | ・ サイトの記載内容の質が十分でないと判断され、検索ランキングから除外された。 |
ペナルティ対象に該当 | ・ 記事、Hタグなどにキーワードを詰め込みすぎ、ペナルティ条件に該当した。 ・ 新たなページを追加したとき、過去に作った他のページと類似した記載になった。その結果、重複コンテンツと判断され、ペナルティ条件に該当した。 |
検索サイト(Google)側の要因
要因 | 例 |
検索順位のインデックスの一時的な要因 | ・ 検索アルゴリズムの改善・修正により順位が変動した。 ・ bot/クローラーのアクセスにより、ランクづけが変動した。 |
Google アップデート要因 | ・ Google アップデートにより、検索ランキングの評価基準が変更となった。 |
Google の記事の評価基準のアップデート | ・ 分野ごとの記事の評価基準の変更・アップデートがあった。 |
競合サイトの影響 | ・ 競合サイトの参入・改善、SEO 対策に伴って、自分のサイトの評価が相対的に下がった/陳腐化した。 |
・ 圏外となった理由が、Google などの検索サイト側にある場合、検索サイトを Bing 等に変更して検索結果を比較することで、検索サイト固有の要因であるかどうかを判別できます。
・ また、原因が検索サイト側である場合、検索アルゴリズムの詳細は非公開ですので、考えていても仕方がありません。
頭を切り替えて、すぐにできること、自分のサイトの改善を進めていくことが近道と思われます。
まとめ
自分のサイトの検索順位が急に圏外となったとき、まず最初に確認すべき項目についてまとめました。
ある意味当たり前の手順ですが、Google 検索で探したところ、対応方法がまとまったサイトが出てこなかったため、まとめておくことにします。
関連リンク
・ エラーコードのまとめ 【Webサーバー】
・ 検索方法のまとめ 【Google】
・ サイトがインデックスされているかどうかを確認する方法 【Google】