「robots.txt によりブロックされましたが、インデックスに登録しました」の対策

Google Search Consoleから 「インデックス カバレッジ」の問題が新たに検出されました というメールが来た。内容は robots.txt によりブロックされましたが、インデックスに登録しました 。対応方法を調べた。

https://support.google.com/webmasters/answer/7440203?hl=ja&vid=0-1402922939553-1519346149488
robots.txt によりブロックされましたが、インデックスに登録しました: このページは robots.txt によりブロックされましたが、インデックスに登録されています(Google では、常に robots.txt に従いますが、他のユーザーがこのページにリンクしている場合は robots.txt は使用されません)。このページを検索結果からブロックしてもよいかどうかわからないため、警告としました。このページをブロックしたい場合、robots.txt ではインデックス登録を回避できません。 インデックスに登録されないようにするには、「noindex」を使用するか、auth を使ってページへの匿名アクセスを禁止してください。このページをブロックするルールについては、robots.txt テスターをご利用ください。robots.txt のため、このページに対し表示されるスニペットは最適化されない可能性があります。このページをブロックしたくない場合は、ページのブロックを解除するよう robots.txt ファイルを更新してください。

「robots.txtに記載されているページだが、他のページからリンクされているので、良かれと思って登録したぞ。」という通知のようだ。余計なことを。

  • 該当ページがインデックス登録すべきないページの場合 (robots.txtが正しい場合)
    • そのページに <meta name="robots" content="noindex"> を入れる
  • 該当ページがインデックス登録してよいページの場合
    • ページのブロックを解除するよう robots.txt ファイルを更新する

自分の場合は前者なのだが、メタタグをいじれないページなので一旦、放置することに決めた。

人見知りソフトウェアエンジニアです。ビジュアル系、お笑い、Pixarが好き。勢いで吉本超合金おたけびBOTを作った。オールザッツ漫才が放送されない東京在住。

趣味や日常からアウトプットの場としてブログを書いています。自作のWordPressプラグインにGitHub Flavored MarkdownAmazonJSなど。