AIクローラーとrobots.txt・llms.txt AIに自社サイトを読ませる設定のしかた

クローラーは、サイトのページを読んで回る、自動のプログラムです。検索エンジンだけでなく、AIのサービスにも、それぞれ、クローラーがあります。

サイトの入口にある「robots.txt」というファイルで、クローラーごとに、読んでよいか、いけないかを、指示できます。

問題は、robots.txtが、意図せず、AIのクローラーを拒否していることがあることです。

セキュリティの設定や、サイト制作時の古い設定、プラグインの初期値で、「すべて拒否」になっていることがあります。

AIに、自社を知ってもらいたいのに、入口で断っている状態です。

AIのクローラーは、目的によって、大きく3つに分けて考えられます。

「AIの学習に使う」「検索結果を作るために使う」「ユーザーの質問に答えるために、その場で読む」です。会社によって、クローラーの名前が分かれています。

ここで大切なのは、「学習に使われるのは嫌だが、検索や回答には出たい」という考え方も、できるという点です。

会社によって、クローラーが分かれているのは、そのためです。

ただし、お店や会社のサイトの場合は、むしろ、AIに正しく読んでもらいたいことが多いので、基本は、許可する方向で考えます。

robots.txtは、あくまで「お願い」のファイルです。ルールを守るクローラーは従いますが、守らないものもあります。

本当に隠したい情報は、robots.txtではなく、会員ページやパスワードで、守る必要があります。

llms.txtは、AIに向けて、サイトの概要や、読んでほしいページの一覧を、テキストでまとめておく、というアイデアです。

サイトの入口に、/llms.txt というファイルを置きます。一覧や説明を、人が読んでも分かる形で書きます。

当サイトでも、サイトの概要を書いた llms.txt と、記事の本文をまとめた llms-full.txt を置いています。

ただし、これらを置いたことで、AIに紹介されることを、保証できるものではありません。「置いて損はないので、置いている」というのが、正直なところです。

サイトを作り直したとき、公開前のテスト用に、robots.txtで全体を拒否していました。

公開後も、そのまま残っていて、検索にもAIにも、読まれにくい状態でした。

Disallowの行を消し、サイトマップを書き、Search Consoleで確認したところ、数週間で、ページが読まれ始めました。

WordPressのセキュリティのプラグインが、「ボットの拒否」を、初期設定で有効にしていました。

検索エンジンは許可されていましたが、AIのクローラーが、拒否されていました。

設定を見直し、医療広告ガイドラインに配慮した、正確な診療情報だけを、読めるようにしました。

作品の写真を、AIの学習に使われたくない写真家は、学習用のクローラーを拒否し、検索・回答用のクローラーは許可しました。

ただし、robots.txtは「お願い」にすぎないため、高解像度の作品は、サイトに載せないなどの、別の工夫も、あわせて行いました。

自社のサイトを、AIに読んでもらうかどうかは、お店や会社の方針です。まず、現状を確認し、意図しない拒否だけを、なくすことから、始めてください。