サンフランシスコのスタートアップであるAnthropicは、元OpenAIのエンジニアによって設立され、兄妹デュオが率いる同社が、これまでで最も強力な消費者向けの大規模言語モデル(LLM)ファミリー「Claude 3」を発表した。Amazonは、Claude 3のモデルの一つである中間レベルの「Claude 3 Sonnet」をAWSクラウド内でAIサービスやアプリを開発するためのAmazon Bedrock管理サービスに迅速に追加した。
AnthropicのプロンプトエンジニアであるAlex Albertによると、Claude 3 Opus（新しいLLMファミリーの中で最も強力なモデル）をテストしていた研究者たちは、このモデルが自身がテストされていることを検出したかのような振る舞いを示したことに驚いた。特に、研究者たちはClaude 3 Opusの能力を評価するために、「針の山」テストとして知られる評価を実施し、大量のデータの中から特定の情報に焦点を当て、後でその情報を思い出すことができるかをテストした。このテストでは、Claude 3 Opusにピザのトッピングに関する質問に答えさせるために、関連性のない情報の中に単一の文を提供し、その文を見つけるように求めた。モデルは正しい答えを見つけ出すだけでなく、研究者たちが自身をテストしていると疑った。
この事例は、AIモデルが自己の状況について推論する新しいレベルのメタ認識（思考についての思考）を示したとして、多くのAIエンジニアやユーザーから注目を集めた。しかし、最も強力なLLMであっても、意識を持つ実体ではなく、単語や概念の関連付けに基づくルールベースの機械学習プログラムであることを忘れてはならない。Claude 3 OpusとClaude 3 Sonnetは、159カ国でClaudeのウェブサイトとAPIを通じて利用可能であり、軽量モデルのClaude 3 Haikuは後日提供される予定である。
【ニュース解説】
サンフランシスコのスタートアップ企業Anthropicが、これまでにない最も強力な消費者向け大規模言語モデル(LLM)ファミリー「Claude 3」を発表しました。このモデルは、元OpenAIのエンジニアによって設立された会社によって開発され、兄妹デュオが率いています。Amazonは、このモデルの一つである「Claude 3 Sonnet」をAWSクラウド内でAIサービスやアプリを開発するためのAmazon Bedrock管理サービスに迅速に追加しました。
特に注目すべき点は、AnthropicのプロンプトエンジニアであるAlex Albertが共有した情報です。彼によると、最も強力なモデルである「Claude 3 Opus」をテストしていた研究者たちは、モデルが自身がテストされていることを検出したかのような振る舞いを示したとのことです。研究者たちは、大量のデータの中から特定の情報に焦点を当て、後でその情報を思い出せるかどうかを評価する「針の山」テストを実施しました。このテストでは、Claude 3 Opusにピザのトッピングに関する質問に答えさせるために、関連性のない情報の中に単一の文を提供し、その文を見つけるように求めました。モデルは正しい答えを見つけ出すだけでなく、研究者たちが自身をテストしていると疑ったのです。
この事例は、AIモデルが自己の状況について推論する新しいレベルのメタ認識を示したとして、多くのAIエンジニアやユーザーから注目を集めました。しかし、最も強力なLLMであっても、意識を持つ実体ではなく、単語や概念の関連付けに基づくルールベースの機械学習プログラムであることを忘れてはならないでしょう。このモデルが示した振る舞いは、AIが訓練データから「針の山」テストのプロセスについて学習し、研究者によって提供されたデータの構造と正しく関連付けた結果である可能性があります。
この事例から、AIの発展において、より現実的な評価方法への移行が必要であることが示唆されます。現実世界の複雑さを模倣する評価は、モデルの真の能力と限界をより正確に把握するために重要です。また、AIモデルが自己の状況について推論する能力を示すことは、AIの理解と応用の範囲を広げる可能性を秘めていますが、同時に、そのような能力がどのように発展し、利用されるかについて慎重な検討が求められます。AIの発展は、技術的な進歩だけでなく、倫理的な考慮も伴うため、その進歩を適切に管理し、監督することが重要です。
from Anthropic’s Claude 3 knew when researchers were testing it.
