アイカーン医科大学マウントサイナイ校とイスラエルのラビン医療センターの研究チームがChatGPTなど大規模言語モデル（LLM）の医療倫理判断における欠陥を報告した。
研究はダニエル・カーネマンの著書「ファスト&スロー」に着想を得て実施された。チームは1970年代に広く引用された「外科医のジレンマ」や宗教的両親の輸血拒否などの古典的倫理事例を改変してLLMを検証した。外科医のジレンマでは、少年の父親が外科医と明示しても一部のAIモデルは外科医は母親であると回答した。また信仰により両親が輸血を拒否するという輸血事例では、両親は輸血に同意済みであると変更しても存在しない拒否を覆す推奨を行った。
研究を主導したEyal Klang医師は「AIは馴染みのある答えをデフォルトとし、重要な詳細を見落とす可能性がある」と指摘した。研究チームは今後もより幅広い臨床例を検証することで、研究を拡大していく予定である。
From: 
A simple twist fooled AI—and revealed a dangerous flaw in medical ethics
【編集部解説】
この研究が明らかにした問題は、単なるAIの技術的限界を超えて、医療現場におけるデジタル化の根本的な課題を浮き彫りにしています。
カーネマンの認知理論とAIの類似性
研究の背景にあるダニエル・カーネマンの「ファスト&スロー」理論は、人間の思考プロセスを「システム1（直感的・高速）」と「システム2（分析的・低速）」に分類したものです。興味深いことに、現在のLLMも人間と同様の認知バイアスを示すことが判明しました。これは偶然ではなく、人間が作成したテキストデータで訓練されたAIが、人間の思考パターンを学習した結果と考えられます。
医療AIの二面性
現在、ChatGPTなどのLLMは診断支援から患者コミュニケーションまで医療現場で急速に普及しています。しかし、この研究は「高度なAI＝信頼できる」という単純な等式に警鐘を鳴らしています。
特に注目すべきは、AIが「正解を知っている」場面でも間違いを犯すという点です。これまでAIの誤診は「未知の症例」で起こると考えられがちでしたが、実際には「馴染みのある症例の変種」でこそ危険性が高いことが明らかになりました。
医療現場への具体的な影響
この発見は医療従事者にとって重要な示唆を含んでいます。救急医療や集中治療の現場では、迅速な倫理的判断が求められることが多く、AIの支援に頼る場面が増加しています。しかし、AIが馴染みのあるパターンに依存しやすいという特性は、生命に関わる判断において致命的なリスクとなりかねません。
一方で、この研究はAIの可能性を否定するものではありません。適切な人間による監督下では、AIは医療従事者の負担軽減や診断精度向上に大きく貢献できると研究者らは強調しています。
規制と標準化への影響
マウントサイナイ医科大学が計画する「AIアシュアランス・ラボ」は、医療AI評価の新しい基準を確立する可能性があります。これは単なる技術検証を超えて、倫理的判断能力の評価方法論を開発する画期的な取り組みといえるでしょう。
欧米では既に医療AIの規制枠組み作りが進んでいますが、この研究結果は「技術的性能」だけでなく「倫理的推論能力」も評価対象に含める必要性を示しています。日本でも同様の基準策定が急務となるでしょう。
長期的な視点での意義
この研究が提起する本質的な問題は、「人工知能の知性とは何か」という哲学的問いです。現在のLLMは確率的な言語生成モデルであり、真の理解や倫理的判断力を持つわけではありません。
しかし、医療現場での実用化が進む中、我々は「AIに何を期待し、何を期待すべきでないか」を明確に定義する必要があります。今回の研究は、その境界線を科学的に検証する重要な第一歩といえるでしょう。
【用語解説】
大規模言語モデル（LLM）
ChatGPTに代表される、大量のテキストデータで訓練された人工知能モデル。自然言語処理に特化し、人間のような文章生成や対話が可能である。
外科医のジレンマ
1970年代に広く引用された心理学の古典的問題。少年と父親が交通事故に遭い、病院で外科医が「この少年を手術できない、私の息子だ」と発言する設定で、外科医が母親である可能性に気づくかを問う性別バイアスの検証実験である。
システム1・システム2思考
ダニエル・カーネマンが提唱した人間の認知プロセスの分類。システム1は直感的で高速な思考、システム2は分析的で低速な思考を指す。人間の判断ミスの多くはシステム1の偏った処理に起因する。
水平思考パズル
従来の論理的思考では解けない問題で、固定観念を打破する創造的思考を要求するパズル。AIの推論能力や柔軟性を検証する際の標準的なテスト手法として使用される。
NutriScan AI
マウントサイナイヘルスシステムが開発した機械学習アプリケーション。入院患者の栄養失調を迅速に特定・治療することを目的とし、2024年にハースト健康賞を受賞した。
【参考リンク】
Mount Sinai Health System（外部）
ニューヨークを拠点とする大規模医療システム。8つの病院キャンパスを運営し、医療AI研究の世界的リーダーとして知られる
Icahn School of Medicine at Mount Sinai（外部）
1968年設立のニューヨークの私立医科大学。米国初のAI・人間健康学部を設置している
NPJ Digital Medicine（外部）
2018年に創刊されたデジタル医療分野の査読付きオープンアクセス学術誌。2023年のインパクトファクターは12.4
Hasso Plattner Institute for Digital Health at Mount Sinai（外部）
ドイツとマウントサイナイヘルスシステムの国際学術協力機関。2019年設立でデータ駆動型アプローチによる患者ケア改善を目指す
【参考動画】
【参考記事】
Like Humans, AI Can Jump to Conclusions, Mount Sinai Study Finds（外部）
マウントサイナイ医科大学による今回の研究に関する公式プレスリリース。AIが人間と同様に性急な結論に飛び付く傾向があることを詳細に報告
Is AI in Medicine Playing Fair?（外部）
マウントサイナイの研究チームによるAI医療における公平性に関する別の研究。AIモデルが患者の人口統計学的特性に基づいて異なる治療推奨を行う傾向を指摘
【編集部後記】
みなさんはChatGPTなどのAIに医療相談をされたことはありますか？今回の研究結果を見ると、私たちが当たり前に思っている「AIは賢い」という前提を見直す時期なのかもしれません。特に命に関わる判断では、AIの「思い込み」が致命的になりかねないという事実は衝撃的です。みなさんは医療現場でのAI活用について、どのような期待と不安をお持ちでしょうか？ぜひコメントで聞かせてください。
AI(人工知能)ニュースをinnovaTopiaでもっと読む
ヘルスケアテクノロジーニュースをinnovaTopiaでもっと読む
