MetaのCEO、Mark Zuckerbergは、最新の大規模言語モデルであるLlama 3のトレーニングを開始したことを発表しました。Llama 3は、その前身であるLlama 1とLlama 2に続くもので、リリース日は未定ですが、オープンソースモデルとして提供される可能性があります。Llama 1は非商用利用に限り研究機関に無料で提供され、Llama 2は商用利用も可能なオープンライセンスでリリースされました。Llama 3も同様にオープンソース化されることが予想され、人工知能へのアクセスを民主化することがMetaの目標です。
Metaの長期的な目標は人工汎用知能（AGI）の構築であり、Llama 3もその一環として開発されています。Llama 3はコード生成の機能を持ち、将来的には視覚と音声データの統合を含むマルチモーダルAIの機能を持つことが計画されています。これはAGIの追求において自然な発展であるとされています。
Llama 3は、その前身であるLlama 2よりも性能が向上すると予想されており、Metaはトレーニングインフラへの大規模な投資を発表しました。Llama 2はGPT-3よりも性能が優れていましたが、GPT-3.5やGPT-4とは完全には匹敵していませんでした。MetaはLlama 3以降のモデルで業界の最先端の性能を提供することを目指しています。
新しい基礎モデルによって、改善されたアプリ、チャットボット、ワークフロー、自動化などの競争上の優位性が生まれ、組織は新しいツールを受け入れることで、顧客と従業員に最高のエクスペリエンスを提供することができるようになります。
【関連記事】
Meta、夏前にLlama言語モデルの小型版を発表予定：AIアクセス拡大へ
Llama 3リリース – MetaがオープンソースLLMで急速に追い上げ-
【編集者追記】Llamaのざっくりヒストリー
Llama 1
- 2023年2月にMetaによって初めてリリースされた
- 7億、13億、33億、65億パラメータのモデルサイズが公開された
- 公開データセットのみを使って学習された初の大規模言語モデル
- GPT-3を上回るパフォーマンスを実現しながら、10分の1以下のサイズ
- 非商用利用に限定されたオープンソースライセンス
Llama 2
- 2023年7月にリリース
- 7億、13億、70億パラメータのモデルサイズ
- 40%多くのデータで学習され、パフォーマンスが向上
- 対話用にファインチューニングされた「Llama 2 Chat」も公開
- 商用利用が可能なオープンソースライセンス
- Microsoftとのパートナーシップによりさらなるサポートが期待される
Llama 3 (開発中)
- 2023年後半のリリースが見込まれている
- GPT-4並のパフォーマンスを目指しているとの噂
- コード生成、推論、計画立案能力の大幅な向上が期待されている
- Metaが保有するGPUリソースを総動員して学習中
- オープンソース化されるかは不明だが、一部無償提供の可能性
Llamaシリーズは、オープンソースの大規模言語モデルの分野を牽引し、AI技術の民主化に大きく貢献してきました。Llama 3が実現すれば、さらに大きな進歩が期待できそうです。
※この記事のアイキャッチはLlama 3のデモサイトで考えてもらったディスクリプションをDALL-E3に描いてもらったものです。
【参考サイト】
Meta社のLlamaオフィシャルサイト（外部）
Llama3のデモサイト（外部）
ニュース解説
Metaが開発を進めている最新の大規模言語モデル「Llama 3」は、人工知能（AI）の分野において、次世代の進化をもたらす可能性を秘めています。Llama 1およびLlama 2の後継モデルとして位置づけられるこのモデルは、オープンソースとして提供されることが期待されており、AI技術のアクセスをより広範な層に拡大することを目指しています。
Llama 3の開発は、人工汎用知能（AGI）への道筋を描く一環として行われており、将来的には人間と同等またはそれ以上の知能を持つAIの実現を目指しています。この目標に向けて、Llama 3はコード生成能力を含むマルチモーダルな機能を持つことが予想されており、テキストやコードだけでなく、視覚や音声データの処理も可能になることが示唆されています。
性能面では、Llama 3は前モデルであるLlama 2を上回ることが予測されています。これは、Metaが発表したトレーニングインフラへの大規模な投資により、より強力なプリトレーニングが可能になるためです。また、Llama 2はGPT-3に比べて一部のベンチマークで優れた性能を示しましたが、GPT-3.5やGPT-4とは完全には匹敵していませんでした。MetaはLlama 3を通じて、オープンソースモデルとしては業界最先端の性能を提供することを目指しています。
新しい基礎モデルの導入により、アプリケーションやチャットボット、ワークフロー、自動化などの分野での競争優位が生まれることが期待されます。これにより、企業は顧客や従業員に対してより優れた体験を提供することが可能になります。
しかし、オープンソース化された強力なAIモデルの普及は、悪意ある行為に利用されるリスクも高めるため、安全かつ責任あるモデルのトレーニングが重要です。また、AGIの実現は、倫理的な問題や社会への影響を考慮する必要があり、規制やガイドラインの整備が求められるでしょう。長期的には、Llama 3のようなモデルが、AIの民主化を進め、技術革新を促進する一方で、その使用方法や影響についての議論を深めることになるでしょう。
from How Meta’s Llama 3 will impact the future of AI.
