【ダイジェスト】
Google Researchのチームは、大規模言語モデル（LLMs）の選択的予測を強化する新しいフレームワーク「ASPIRE」を紹介しました。この技術は、LLMsが自信を持って予測できる場合にのみ回答を出力し、その回答に対する信頼度スコアを提供することを可能にします。これにより、LLMsの信頼性を向上させ、高リスクな意思決定アプリケーションでの使用に一歩近づきます。
ASPIREは、タスク固有のチューニング、回答サンプリング、自己評価学習の3段階から成り立っています。まず、タスク固有のチューニングにより、LLMsは特定のタスクに適応するために微調整されます。次に、回答サンプリングを通じて、異なる回答を生成し、自己評価学習のためのデータセットを作成します。最後に、自己評価学習では、生成された回答が正しいかどうかをLLMsが自ら評価する能力を養います。
このフレームワークは、ソフトプロンプトチューニングを使用して実装され、LLMsが特定の下流タスクをより効果的に実行できるように「ソフトプロンプト」を学習します。ASPIREを使用することで、LLMsは生成した回答とその回答の自己評価スコアを組み合わせた選択スコアを定義し、選択的予測を行うことができます。
実験結果によると、ASPIREはCoQA、TriviaQA、SQuADなどの様々な質問応答データセットにおいて、従来の選択的予測方法よりも優れた性能を示しました。特に、小規模なLLMsが適切な適応を行うことで、より大きなモデルの精度に匹敵する、またはそれを上回る可能性があることが示されました。
ASPIREは、LLMsが自らの確信度を判断し、選択的予測タスクで大規模なモデルを凌駕する可能性を秘めていることを示しています。これにより、LLMsを意思決定の信頼できるパートナーとして活用する未来が開かれます。研究チームは、この基盤の上にさらに構築し、より信頼性が高く自己認識できるAIの開発を目指すコミュニティを招待しています。
【ニュース解説】
Google Researchのチームが開発した「ASPIRE」という新しいフレームワークは、大規模言語モデル（LLMs）の選択的予測能力を強化することを目的としています。この技術により、LLMsは自信を持って予測できる場合にのみ回答を出力し、その回答に対する信頼度スコアを提供することが可能になります。これは、LLMsの信頼性を向上させ、特に高リスクな意思決定アプリケーションでの使用において、大きな一歩を意味します。
ASPIREは、タスク固有のチューニング、回答サンプリング、自己評価学習の3つの段階を経て、LLMsが自らの予測に対する確信度を評価する能力を養います。このプロセスを通じて、LLMsは特定の質問に対する回答の正確性を自己評価し、その結果に基づいて選択的に予測を行うことができるようになります。
このフレームワークの実装には、ソフトプロンプトチューニングが使用されます。これは、LLMsが特定の下流タスクをより効果的に実行できるように、柔軟なプロンプトを学習する方法です。ASPIREを用いることで、LLMsは生成した回答とその自己評価スコアを組み合わせた選択スコアを定義し、そのスコアに基づいて予測を行います。
実験結果からは、ASPIREが従来の選択的予測方法よりも優れた性能を示し、特に小規模なLLMsが適切な適応を行うことで、より大きなモデルの精度に匹敵する、またはそれを上回る可能性があることが示されました。これは、LLMsのサイズだけが性能の決定要因ではなく、適切な戦略的適応によって性能が大幅に向上する可能性があることを示しています。
ASPIREの開発は、LLMsが自らの確信度を判断し、選択的予測タスクで大規模なモデルを凌駕する可能性を秘めていることを示しています。これにより、LLMsを意思決定の信頼できるパートナーとして活用する未来が開かれ、特に高リスクな状況での使用において、その信頼性と有効性が大きく向上することが期待されます。
しかし、この技術の導入には慎重な検討が必要です。選択的予測の精度は、トレーニングデータやモデルの設計に大きく依存するため、誤った自己評価によるリスクも考慮する必要があります。また、この技術が広く採用されるには、規制や倫理的なガイドラインの整備も重要な課題となります。将来的には、ASPIREのような技術がさらに発展し、LLMsの適用範囲が広がることで、より安全で信頼性の高いAIシステムの実現に貢献することが期待されます。
from Introducing ASPIRE for selective prediction in LLMs.
