Microsoftは、数学の文章問題において、10倍大きなモデルを上回る性能を持つ新しいAI「Orca-Math」を発表した。このAIは、フランスのスタートアップMistralのMistral 7Bモデル（MetaのLlama 2のバリアント）をベースにしており、小さいサイズでの訓練と推論実行を保持しながら、数学の文章問題において優れた性能を発揮する。Orca-Mathは、7-70億パラメータサイズのAI大言語モデル（LLM）とそのバリアントの中で、GoogleのGemini UltraとOpenAIのGPT-4を除き、GSM8Kベンチマークで最も高い性能を示した。GSM8Kベンチマークは、OpenAIによって公開された、中学生レベルで解ける8500の異なる数学の文章問題と質問から成る。
Orca-Mathの開発には、新たに200,000の文章問題を生成するために「特別なエージェント」が協力した。これらの問題は、既存のオープンソースデータセットから収集した36,217の「サンプル数学文章問題」を基にし、OpenAIのGPT-4を使って答えを求め、その答えを使って新たなMistral 7BバリアントであるOrca-Mathの訓練を行った。さらに、Orcaチームは「提案者と編集者」エージェントを使用して、AIの訓練に使用するさらに複雑な質問を開発した。
この合成データセットは、機械生成データがLLMの知能と能力を向上させるのに有用であることを示す例の一つであり、モデル崩壊の懸念を和らげる。Orcaチームは、Contextual AIによって開発された「Kahneman-Tversky Optimization」（KTO）メソッドを使用し、従来の監視付き微調整技術と組み合わせて、Orca-Mathモデルの数学問題への回答の正確性を向上させた。
さらに、Orcaチームは、200,000の文章数学問題を含む合成AI生成データセットを、商用利用も可能な寛容なMITライセンスの下でHugging Faceに投稿した。これにより、スタートアップや企業がこのデータセットを活用できるようになった。
【ニュース解説】
Microsoftが新たに発表したAI「Orca-Math」は、数学の文章問題に特化しており、その性能は10倍大きなモデルを上回るという驚異的なものです。このAIは、フランスのスタートアップMistralのMistral 7Bモデルを基に開発され、MetaのLlama 2のバリアントです。Orca-Mathは、小さなサイズでありながら、数学の文章問題を解く能力において、7-70億パラメータサイズのAI大言語モデル（LLM）の中で、GoogleのGemini UltraとOpenAIのGPT-4を除くほとんどのモデルを上回る性能を示しました。
Orca-Mathの開発には、新たに200,000の文章問題を生成するために特別なエージェントが協力しました。これらの問題は、既存のオープンソースデータセットから収集した36,217のサンプル数学文章問題を基にしており、OpenAIのGPT-4を使って答えを求め、その答えを使って新たなMistral 7BバリアントであるOrca-Mathの訓練を行いました。さらに、Orcaチームは「提案者と編集者」エージェントを使用して、AIの訓練に使用するさらに複雑な質問を開発しました。
この合成データセットの使用は、機械生成データがLLMの知能と能力を向上させるのに有用であることを示す例の一つです。これにより、モデル崩壊の懸念が和らげられます。Orcaチームは、Contextual AIによって開発された「Kahneman-Tversky Optimization」（KTO）メソッドを使用し、従来の監視付き微調整技術と組み合わせて、Orca-Mathモデルの数学問題への回答の正確性を向上させました。
さらに、Orcaチームは、200,000の文章数学問題を含む合成AI生成データセットを、商用利用も可能な寛容なMITライセンスの下でHugging Faceに投稿しました。これにより、スタートアップや企業がこのデータセットを活用できるようになり、教育や研究、さらには商用アプリケーションの開発において、数学の文章問題を解くAIの能力を活用する新たな可能性が広がります。
Orca-Mathの開発とその成果は、AI技術の進化において、モデルのサイズだけが性能の決定要因ではないことを示しています。特定のタスクに特化した訓練と、合成データセットの活用により、小さなモデルでも高い性能を発揮することが可能です。この進歩は、AIの教育分野への応用だけでなく、リソースの制約がある環境でのAI技術の利用を促進することにも寄与するでしょう。しかし、合成データの生成と使用には、データの質やバイアスの問題に注意を払う必要があります。また、高度なAIモデルの開発と普及に伴い、倫理的な使用やプライバシー保護の観点からの規制やガイドラインの整備も重要な課題となります。
from Microsoft’s new Orca-Math AI outperforms models 10x larger.
