AIクローラーのrobots.txt制御—主要ボットのユーザーエージェント一覧と書き方

AI企業のクローラーはそれぞれ固有のユーザーエージェントを持ち、robots.txtで個別に許可・拒否を制御できる。主要ボットの名称と記述例をまとめる。

主要AIクローラーの識別名

OpenAIのGPTBot、AnthropicのClaudeBot、PerplexityBot、Google-Extendedなどが代表的。検索用クローラーとAI学習用で名前が分かれている企業もある。

User-agent行でボット名を指定しDisallowまたはAllowを書く。AI学習は拒否しつつ検索インデックスは許可する、といった使い分けができる。

robots.txtは紳士協定であり強制力はない。確実に遮断したい場合はユーザーエージェントやIPベースのサーバー側制御を併用する。