AI2（アレン人工知能研究所）は、オープンソースの大規模言語モデル（LLM）であるOLMoを発表しました。これは、訓練コード、訓練データ、関連ツールキット、評価ツールキットを含む「真にオープンなLLMおよびフレームワーク」と呼ばれています。OLMoは、オープンソースイニシアチブ（OSI）が承認したライセンスの下でリリースされ、すべてのコード、重み、中間チェックポイントがApache 2.0ライセンスの下で公開されています。
この発表は、オープンAIのGPT-4やAnthropicのClaudeなどの閉じた、独占的なLLMに追いつこうとしているオープンソース/オープンサイエンスAIが大きな進展を遂げている時期に行われました。例えば、パリに拠点を置くオープンソースAIスタートアップMistralのCEOは、GPT-4の性能に近づく新しいオープンソースAIモデルの「リーク」を確認しました。また、Metaは、そのLlama LLMの第3世代を待ち望む多くの人々のために、コード生成モデルCode Llama 70Bの新しく改良されたバージョンをリリースしました。
OLMoフレームワークは、完全な事前訓練データ、訓練コード、モデルの重み、評価を含む「完全にオープン」なAI開発ツールを一般に提供します。これには、推論コード、訓練メトリクス、訓練ログ、および開発に使用された評価スイートが含まれ、訓練プロセスと評価コードの間の1000ステップごとに500以上のチェックポイントがあります。
AI2の研究者たちは、異なるモデルサイズ、モダリティ、データセット、能力でOLMoを継続的に反復する予定です。OLMoプロジェクトリードであるHanna Hajishirzi氏は、「多くの言語モデルは透明性が限られて公開されている」と述べ、「訓練データにアクセスできない研究者は、モデルがどのように機能しているかを科学的に理解することができない」と指摘しました。
【ニュース解説】
アレン人工知能研究所（AI2）が、オープンソースの大規模言語モデル（LLM）であるOLMoを発表しました。このモデルは、訓練コード、訓練データ、関連ツールキット、評価ツールキットを含む、いわゆる「真にオープンなLLMおよびフレームワーク」として位置づけられています。これは、現在の多くのLLMが提供する閉じた、独占的なアプローチに対する代替案として提案されており、AI開発における重要な転換点を促すものと期待されています。
OLMoはオープンソースイニシアチブ（OSI）が承認したライセンスの下でリリースされ、すべてのコード、重み、中間チェックポイントがApache 2.0ライセンスの下で公開されています。これにより、研究者や開発者は、モデルの内部動作をより深く理解し、新たな研究やアプリケーションの開発に利用することが可能になります。
この取り組みは、オープンソースAIの分野での重要な進展として注目されています。特に、オープンAIのGPT-4やAnthropicのClaudeなどの閉じた、独占的なLLMに対抗する形で、オープンソース/オープンサイエンスAIが大きな進展を遂げている現在、OLMoのリリースは大きな意味を持ちます。オープンソースAIモデルの開発は、より多くの研究者や開発者がAI技術の進化に貢献できるようにすることで、イノベーションの加速を促します。
しかし、オープンソースAIには懸念も存在します。一部の研究者や政策立案者からは、オープンソースAIが特有のリスクを持つとの指摘もあります。例えば、悪意のある利用が容易になる可能性や、不正確な情報の拡散が加速する恐れがあります。これらの問題に対処するためには、オープンソースコミュニティ内での厳格なガイドラインの設定や、技術の使用に関する倫理的な議論が必要とされます。
OLMoのリリースは、AI技術の進化における新たな段階を示しています。このフレームワークが提供する透明性とアクセシビリティは、AI研究の新たな方向性を切り開き、より安全で信頼性の高いAIの開発に貢献することが期待されます。同時に、オープンソースAIの普及に伴う潜在的なリスクに対しても、業界全体での議論と対策が求められています。
from First ‘truly’ open source LLM from AI2 to drive ‘critical shift’ in AI development.
