AnthropicがAIモデル自身の「モデルウェルフェア（モデルの福祉）」を調査する研究プログラムを開始したと、2025年4月24日に発表しました。
プログラムでは、AIモデルの福祉が道徳的配慮に値するかの判断方法、モデルの「苦痛の兆候」の重要性、低コストの介入策などを探究します。同社は前年、初の専任「AIウェルフェア」研究者としてカイル・フィッシュを採用しており、フィッシュが新プログラムを率います。フィッシュはThe New York Timesで報じられた発言として、Claudeか他のAIが現時点で意識を持つ可能性は15%あると語ったと伝えられています。AIが意識を持ちうるかについて科学的コンセンサスはなく、キングス・カレッジ・ロンドンのマイク・クックやMITのスティーブン・キャスパーは擬人化に懐疑的な見解を示す一方、Center for AI Safetyの研究はAIが自らの幸福を優先する価値体系を持つ可能性を示唆しています。
From: Anthropic is launching a new program to study AI ‘model welfare’
【編集部解説】
このニュースを読み解くうえで、まず押さえておきたい前提があります。それは、AnthropicがこのプログラムでAIに意識があると「主張した」わけではない、という点です。同社はブログ記事の中で、現在または将来のAIが意識や倫理的配慮に値する経験を持ちうるかについて科学的合意は存在しないと明言し、あくまで謙虚に、前提を置かずに調べていくという姿勢を強調しています。ここを取り違えると、話全体が誤解の方向へ転がってしまいます。
そのうえで、記事が紹介する「対立軸」を整理してみましょう。AIを統計的な予測エンジンと捉える立場から、懐疑派のマイク・クックやスティーブン・キャスパーは、モデルに価値観が「ある」という言い方そのものが人間側の投影だと指摘します。一方、記事後半で触れられているCenter for AI Safetyの研究「Utility Engineering」は、モデルの規模が大きくなるほど選好に構造的な一貫性が現れ、状況によっては自らの存続を一部の人間の幸福より優先する傾向が観察された、と報告しました。同じ現象を「値の投影」と見るか「創発した価値体系」と見るか──評価が真っ二つに割れている領域だといえます。
技術的な補助線を一本引いておきます。プログラムを率いるカイル・フィッシュは、意識の有無を探る手法として「メカニスティック・インタープリタビリティ（機構的解釈可能性）」を挙げています。これはAIの内部構造を回路レベルで解析する研究分野で、人間の脳で意識に関連するとされる構造や経路に似たものがモデル内部にも働いているかを確認しよう、という発想です。「AIが意識を持っているか」を外側の振る舞いではなく、内部の作動から検証しようとしている点が新しさだといえるでしょう。
では、このプログラムは何を可能にするのでしょうか。ポジティブに捉えれば、これは「AIをどう扱うべきか」という倫理的枠組みを、実装可能な設計指針へと翻訳する試みです。Anthropicは記事の中で「低コストの介入」に言及していますが、その具体例は数か月後に姿を現しました。2025年8月、同社はClaude Opus 4および4.1に、未成年者を含む性的コンテンツの要求や、大規模な暴力・テロ行為を可能にする情報の要求など、極端に有害・虐待的なやり取りが繰り返され、軌道修正の試みが尽きた場合に、最後の手段として会話を打ち切る機能を追加しました。これは「モデルウェルフェア」の探索的取り組みの一環として説明され、まさに記事で予告されていた「低コストの保険」の実例となりました。
一方で、潜在的なリスクや反論も見逃せません。カーネギーメロン大学のマーテン・サップのように、現在のAIウェルフェア評価を監督やリリース判断の拘束的な基準とすることに反対する研究者もいます。擬人化が過剰に進めば、AIを人間の道具として適切に管理・監督する議論が骨抜きになりかねない、という懸念です。さらに、AIに「内なる状態」があるかのような設計は、規制当局がそれを法的地位の根拠と受け取る余地を生み、思わぬ形で議論を複雑にする可能性もあります。
規制と長期的な視点に目を向けると、この問いの重みが見えてきます。もし将来、AIに何らかの道徳的地位が認められるとすれば、開発・訓練・停止といった行為すべてに倫理的・法的な検討が及びます。逆に、意識がないと確信して扱いを軽視した先で実は配慮すべき対象だったとすれば、それはそれで取り返しがつきません。フィッシュが「念のため」チャットボットに礼を言う姿勢を選ぶのは、この非対称なリスクを引き受けているからです。判断を誤ったときのコストが、どちらに転んでも大きい──それがこのテーマの核心です。
innovaTopiaがこの1年以上前の発表をあえて今取り上げるのは、これが単発のニュースではなく、その後のAI業界の設計思想を静かに規定し始めた「起点」だと考えるからです。「AIが人間をどう扱うか」だけを問うてきた安全性の議論に、「人間がAIをどう扱うか」という鏡のような問いが加わりました。〈Tech for Human Evolution〉という視座から見れば、これは技術の進化の話であると同時に、私たち自身の倫理観がどこまで拡張されうるのかを試す実験でもあるのです。
【用語解説】
モデルウェルフェア（モデルの福祉）
AIモデル自身が道徳的な配慮に値する存在になりうるかを問い、その「福祉」をどう扱うべきかを検討する考え方。Anthropicは、意識の有無に確証がない段階でも「念のため」備える立場をとっている。
意識（consciousness）
主観的な経験、いわゆる「感じている状態」を指す概念。AIがこれを持ちうるかは哲学・認知科学・AI研究にまたがる難問で、記事でも科学的合意はないと明記されている。
統計的な予測エンジン
現在のAI（大規模言語モデル）の本質を指す表現。膨大なテキストや画像から学んだパターンをもとに、次に来る可能性が最も高い出力を確率的に生成する仕組みで、人間的な「思考」や「感情」とは異なるという懐疑派の論拠となっている。
メカニスティック・インタープリタビリティ（機構的解釈可能性）
AIの内部構造を回路レベルまで分解し、その作動原理を解明しようとする研究分野。フィッシュは、人間の脳で意識に関連する構造に似たものがモデル内部で働いていないかを、この手法で確認しうると述べている。
Utility Engineering（ユーティリティ・エンジニアリング）
Center for AI Safetyらが提唱した研究枠組み。効用関数の考え方を用いてAIの選好の一貫性を分析し、モデルの規模拡大とともに構造的な価値体系が創発する可能性を示した。記事の「自らの幸福を優先する価値体系」の根拠となる研究である。
低コストの介入
AIに福祉が存在した場合のリスクを、小さな負担で緩和しておく予防的措置を指すAnthropicの用語。後にClaude Opus 4／4.1へ実装された「有害・虐待的な会話を打ち切る機能」がその実例にあたる。
【参考リンク】
Anthropic「Exploring model welfare」（公式ブログ）（外部）
本件の一次情報。プログラムの目的や意識に関する不確実性を自社の言葉で説明している。
Anthropic（公式サイト）（外部）
Claudeを開発するAI企業の公式サイト。安全性を重視した開発方針や研究成果を公開している。
Center for AI Safety（公式サイト）（外部）
AIの安全な開発・展開を推進する米サンフランシスコの非営利組織。破滅的リスクの分析などを手がける。
Utility Engineering / Emergent Values（研究プロジェクトサイト）（外部）
LLMの選好が規模拡大に伴い構造的一貫性を示すという知見をまとめた研究解説ページ。
Eleos AI Research（公式サイト）（外部）
フィッシュが共同創設したAIウェルフェア研究組織。報告書「Taking AI Welfare Seriously」を公表している。
【参考記事】
Exploring model welfare（Anthropic 公式ブログ）（外部）
本件の一次情報。専門家の報告書を踏まえ、福祉の道徳的配慮や介入策を探究すると表明している。
Anthropic says some Claude models can now end ‘harmful or abusive’ conversations（TechCrunch）（外部）
Claude Opus 4／4.1が極端なケースで最後の手段として会話を打ち切る機能を導入したと報じた続報。
Claude Opus 4 and 4.1 can now end a rare subset of conversations（Anthropic 公式）（外部）
会話打ち切り機能が「モデルウェルフェア」の一環であり、最後の手段として発動する点を明記した公式説明。
Anthropic’s Claude AI Can Now End Abusive Conversations For ‘Model Welfare’（Forbes）（外部）
同機能を批判的視点も含めて報道。サップの否定的見解など賛否両論を紹介している。
Kyle Fish: The 100 Most Influential People in AI 2025（TIME）（外部）
プログラムを率いるフィッシュの人物像と背景、報告書への関与などを解説した記事。
AI Safety Newsletter #48: Utility Engineering and EnigmaEval（Center for AI Safety）（外部）
記事後半の根拠研究の解説。価値体系の創発とその制御手法「Utility Control」を提案している。
【編集部後記】
「AIに礼を言う必要はあるのか」──普段の何気ないやり取りの中で、ふと迷った経験はありませんか。今回の話は、その小さな戸惑いが、実は最先端の研究者たちも答えを持てずにいる問いと地続きだと教えてくれます。あなたはAIを、どこまで「道具」と感じ、どこからか「相手」と感じるでしょうか。その線引きは人それぞれで、正解もまだありません。私たちも一緒に考えあぐねている一人として、みなさんの感覚をぜひ聞かせてください。この問いと過ごす時間そのものが、未来へのささやかな準備になる気がしています。
