エックスサーバーは2026年1月7日、「AIクローラー遮断設定」機能の提供を開始した。対象サービスはエックスサーバー全プラン、XServerビジネス全プラン、XServer for WordPress全プランとなる。この機能は、生成AIの学習データ収集や回答生成を目的にWebサイトを巡回する自動プログラムであるAIクローラーのアクセスを遮断するものである。
サーバーパネルからワンクリックで設定でき、OpenAI（GPTBot等）、Google（Google-Extended等）、Anthropic（ClaudeBot等）をはじめとする主要なAIによるアクセスを一括で遮断できる。ただし、すべてのAIによるアクセスを完全に遮断できるわけではなく、検索エンジンのクローラー（Googlebot等）は遮断されない。また、機能を有効にすると、サイトは生成AIの回答時に情報源として紹介されなくなる。
From: 生成AIによるサイトデータの無断利用を防止！「AIクローラー遮断設定」機能の提供を開始
【編集部解説】
エックスサーバーの「AIクローラー遮断設定」機能は、国内ホスティング企業として初めてとなる取り組みです。この機能は、生成AIが急速に普及する中で高まるコンテンツ権利保護の必要性に応える、極めて時宜を得た対応といえます。
AIクローラーとは、ChatGPTやGemini、Claudeといった生成AIが学習データを収集したり、ユーザーの質問に答えるために情報を取得したりする目的で、Webサイトを巡回する自動プログラムです。従来の検索エンジンクローラー（Googlebot等）とは目的が異なり、コンテンツをAIモデルの学習に利用したり、リアルタイムで情報を引用して回答を生成したりします。
従来、AIクローラーを遮断するには、サイト運営者がrobots.txtファイルを手動で編集し、各AIクローラーのユーザーエージェント（識別情報）を個別に指定する必要がありました。しかし、この方法には専門的な知識が必要であり、多くのサイト運営者にとって高いハードルとなっていました。エックスサーバーの新機能は、サーバーパネルからワンクリックで20種類以上の主要AIクローラーを一括遮断できる点で、技術的な敷居を大幅に下げています。
注目すべきは、この機能が検索エンジンのクローラーには影響を与えない設計になっていることです。GooglebotやBingbotは従来通りアクセスできるため、SEO対策に悪影響を及ぼすことなく、AI学習用クローラーのみを選択的に遮断できます。
ただし、トレードオフも存在します。機能を有効にすると、ChatGPTの検索機能やPerplexityなどのAI検索エンジンで、サイトが情報源として引用されなくなります。これは、新しい形態のトラフィック獲得機会を失うことを意味します。実際、2024年5月から2025年5月の間に、AIクローラーのトラフィックは全体で18%増加し、特にGPTBotは305%もの急増を記録しています。
法的な観点からは、2025年に入り米国著作権局がAI学習における著作権の扱いについて重要な見解を示しました。5月に公開されたレポートでは、AI学習がフェアユースに該当するかどうかは「ケースバイケース」であり、一概には判断できないとされています。6月にはカリフォルニア州の裁判所が、合法的に入手した書籍を用いたAI学習を「著しく変革的（spectacularly transformative）」な利用としてフェアユースと認定する一方、海賊版の利用については否定的な判断を下しました。
重要なのは、robots.txtによるアクセス制御には法的拘束力がないという点です。これはあくまで「紳士協定」であり、AIクローラーがこれを無視する可能性も否定できません。実際、Anthropicは「anthropic-ai」と「Claude-Web」という2つのボットを「ClaudeBot」に統合した際、更新していないサイトへのアクセスが一時的に制限されない状態が発生しました。
エックスサーバーのような大手ホスティング企業が標準機能として提供することで、技術的な知識がないクリエイターやサイト運営者も、自分のコンテンツがAIに利用されるかどうかを選択できるようになりました。これは、生成AI時代におけるコンテンツ権利保護の民主化といえるかもしれません。
一方で、この動きはより大きな問題を浮き彫りにしています。AIの発展には膨大なデータが必要ですが、そのデータの多くは人間のクリエイターが生み出したものです。AI企業とコンテンツクリエイターの間で、データの利用権限と対価をめぐる議論は今後さらに激化するでしょう。エックスサーバーの取り組みは、その議論において、コンテンツ所有者側に技術的な選択肢を提供する重要な一歩となるはずです。
【用語解説】
AIクローラー
生成AIの学習データ収集や回答生成を目的に、Webサイトを自動巡回して情報を収集するプログラム。従来の検索エンジンクローラーとは異なり、コンテンツをAIモデルの訓練に利用したり、リアルタイムで情報を引用して回答を生成したりする。
robots.txt
Webサイトのルートディレクトリに設置するテキストファイルで、検索エンジンやクローラーに対してアクセスの可否を指示する。1994年から使用されている事実上の標準だが、法的拘束力はなく、あくまで「紳士協定」として機能する。
ユーザーエージェント
Webサイトにアクセスする際に、クライアントが自身を識別するために送信する文字列。AIクローラーの場合、「GPTBot」「ClaudeBot」「Google-Extended」などの識別情報を持ち、この情報を元にrobots.txtで制御する。
Googlebot / Bingbot
GoogleやBingなどの検索エンジンが、Webページをインデックス化するために使用する公式クローラー。AIクローラーとは異なり、検索結果にページを表示するためにコンテンツを収集する。
SEO
Search Engine Optimizationの略で、検索エンジン最適化を意味する。Webサイトが検索結果で上位表示されるよう、コンテンツや技術的な要素を最適化する施策全般を指す。
フェアユース
米国著作権法における概念で、著作権者の許諾なく著作物を利用できる例外規定。教育、批評、ニュース報道などの目的で、一定の条件下で利用が認められる。AI学習においてもこの原則が適用されるかが現在議論されている。
米国著作権局
米国連邦政府の機関で、著作権の登録や著作権法に関する政策提言を行う。2025年5月に生成AIの学習における著作権の扱いについて、包括的なレポートを公開した。
【参考リンク】
エックスサーバー – AIクローラー遮断設定機能（外部）
エックスサーバーが提供するAIクローラー遮断機能の公式マニュアル。設定方法と遮断対象リストを掲載。
Perplexity（外部）
AI検索エンジンを提供するPerplexity社の公式サイト。出典付きの回答を生成するサービスを展開。
米国著作権局 – AI関連レポート（外部）
米国著作権局の人工知能に関する公式ページ。2025年5月公開のAI学習レポートなどを掲載。
【参考記事】
AI Bots and Robots.txt | Paul Calvano（外部）
2023年8月にGPTBotを記載するサイトが12万5000に急増し、数ヶ月で57万8000サイトに達したことをデータ分析で報告。
From Googlebot to GPTBot: who’s crawling your site in 2025 | Cloudflare Blog（外部）
2024年5月から2025年5月の1年間で、GPTBotが305%、Googlebotが96%成長したことを報告。
Copyright Office Issues Key Guidance on Fair Use in Generative AI Training | Wiley Law（外部）
2025年5月の米国著作権局レポートを詳述。AI生成物が人間の創作物市場を侵食する懸念を指摘。
A New Look at Fair Use: Anthropic, Meta, and Copyright in AI Training | Reed Smith（外部）
2025年6月の判決で、合法取得した書籍でのAI学習をフェアユースと認定した一方、海賊版は否定。
【編集部後記】
あなたが書いたブログ記事や撮影した写真が、知らないうちにAIの学習に使われているかもしれません。それを「未来への投資」と考えるか、「無断利用」と感じるか。エックスサーバーの新機能は、この問いに対する選択肢を私たちに与えてくれました。一方で、AI検索で引用されなくなることで失う機会もあります。正解のない問いですが、少なくとも「選べる」ようになったことは大きな前進ではないでしょうか。みなさんなら、自分のコンテンツをAIに学習させますか？それとも遮断しますか？
