評価では、Aya 23はカバーする言語でAya 101やGemma、Mistral、Mixtralなどの広く使用されているモデルを上回るパフォーマンスを示した。Cohere for AIは、8Bおよび35BモデルのオープンウェイトをHugging Face上でクリエイティブ・コモンズの帰属非営利4.0国際公共ライセンスの下でリリースし、研究者や実践者が多言語モデルとアプリケーションを進化させることを目指している。また、ユーザーはCohere Playgroundで新しいモデルを無料で試すことができる。
【ニュース解説】
Cohere for AI(C4AI)、カナダの企業向けAIスタートアップの非営利研究部門は、多言語対応の最先端言語モデル「Aya 23」のオープンウェイトを発表しました。このモデルは、8Bおよび35Bのパラメータバリアントで提供され、23の異なる言語に対応しています。これにより、世界人口のほぼ半分に対応する言語モデリング能力が拡大され、他のオープンモデルを上回る高品質な応答を提供することが可能になります。
Aya 23は、C4AIが推進するAyaイニシアチブの一環として開発されました。このイニシアチブは、強力な多言語能力を提供することを目指しており、3,000人以上の独立した研究者と協力して、513百万インスタンスのプロンプトと完了からなる大規模な多言語インストラクションスタイルのデータセット「Ayaコレクション」を作成しました。このデータセットを使用して、101言語をカバーするインストラクション微調整LLM「Aya 101」が開発され、2024年2月にオープンソースLLMとしてリリースされました。
Aya 23は、CohereのCommandシリーズのモデルとAyaコレクションに基づいており、23言語により多くの容量を割り当てることに焦点を当てています。これにより、カバーする言語での生成能力が向上し、Aya 101や他の広く使用されているモデルを上回るパフォーマンスを実現しています。
Aya 23のリリースは、言語モデリングの分野における重要な進歩を示しています。特に、英語中心だった大規模言語モデル(LLM)の開発から、多言語対応へとシフトすることで、世界中の多様な言語を話す人々に対するアクセシビリティが向上します。しかし、このような技術の進歩は、データのプライバシー、倫理的な使用、バイアスの問題など、新たな課題をもたらす可能性もあります。したがって、これらのモデルを使用する際には、これらの問題に対する注意深い考慮が必要です。
このケースは単独のものではありません。2024年にJournal of Experimental Criminologyに発表された学術研究でも、Draft Oneを含むAI支援報告書作成システムが実際の時間短縮効果を示さなかったという結果が報告されています。これらの事実は、Axon社の主張と実際の効果に重要な乖離があることを示しています。
技術的には、長文脈での「needle in a haystack(干し草の山の中の針)」的検索・想起の正確性が論点です。Anthropicは内部評価で100%の再現性を謳いますが、これはあくまで社内テストであり、実運用におけるコード異臭検知や設計上のトレードオフ把握など、多層的な推論の持続性は現場検証が不可欠です。ただし、プロジェクト全体像を”丸ごと”見渡せること自体は、ファイル粒度の分割では失われがちだった依存関係と設計意図を保ったまま提案できる余地を広げます。