ウェブサイトの検索順位が下がったり、特定のページが表示されなくなったりすると、サイトオーナーとしては非常に困惑します。Googleのクローラが特定のページをクロールできず、インデックスに登録しているというエラーメッセージ「robots.txtによりブロックされましたが、インデックスに登録しました」は、この問題の一例です。この記事では、このエラーの原因と解決方法を詳しく説明します。
「robots.txtによりブロックされましたが、インデックスに登録しました」エラーの原因特定
このエラーが表示される理由は、ウェブサイトの「robots.txt」ファイルにあります。このファイルは、クローラに対してウェブサイト内のページのクロールの可否を指示する役割を果たします。もし、特定のページが「robots.txt」ファイルによってブロックされている場合、そのページはクローラによってクロールされず、インデックスに登録されないことになります。
「robots.txtによりブロックされましたが、インデックスに登録しました」エラーの解決方法
このエラーを解決するためには、いくつかの方法があります。以下では、具体的な対処方法を説明します。
1. robots.txtファイルを確認する
まず最初に、ウェブサイトのルートディレクトリにある「robots.txt」ファイルを確認しましょう。このファイルには、クローラに対して許可するページや許可しないページを指定するルールが記述されています。もし、特定のページがブロックされている場合は、そのルールを見つけて修正する必要があります。
2. 特定のページをインデックスさせる
特定のページをインデックスさせるためには、robots.txtファイルを編集する必要があります。修正するには、以下の手順を実行してください。
User-agent: *という行の下に、Allow: /path/to/pageという行を追加します。ここで、/path/to/pageはインデックスさせたいページのURLパスを指定します。- 修正が完了したら、robots.txtファイルを保存してウェブサイトにアップロードします。
- Google Search Consoleにログインし、ウェブサイトを選択します。
- 左側のメニューから「クロール」→「robots.txtテスター」を選択します。
- 「robots.txtテスト」ボタンをクリックし、修正が正しく適用されたかどうかを確認します。
- エラーメッセージが表示されなくなったら、修正が成功したと言えます。
3. noindexタグの設定を確認する
もしrobots.txtファイルの修正でも問題が解決しない場合、ページのHTMLソースコードに<meta name="robots" content="noindex">というタグが存在しないか確認してください。もし、このタグが存在する場合、クローラはそのページをインデックスに登録しません。このタグを削除することで、インデックス登録が可能になります。
4. サイトマップを提出する
最後に、Google Search Consoleにサイトマップを提出することも効果的です。サイトマップには、ウェブサイトの全てのページのURLが含まれており、クローラに対してインデックス登録の指示を与える役割を果たします。サイトマップを提出することで、クローラが全てのページを正確にクロールし、インデックスに登録することができます。
まとめ
「robots.txtによりブロックされましたが、インデックスに登録しました」というエラーは、特定のページがウェブサイトのrobots.txtファイルによってブロックされていることを示しています。このエラーを解決するためには、robots.txtファイルを修正したり、noindexタグを削除したり、サイトマップを提出したりする必要があります。適切な対処を行うことで、クローラが全てのページを正しくインデックスに登録することができます。
