MetaのAI責任者であるYann LeCunは、人間や動物が物体同士の相互作用を予測し、理解する能力を模倣することを目指した機械学習（ML）システムの提唱者である。Metaの最新MLモデルであるV-JEPA（Video Joint Embedding Predictive Architecture）は、このビジョンを実現するための次のステップである。V-JEPAの目標は、生のビデオ映像から抽象的な表現を学習することにより、物体が互いにどのように相互作用するかを予測し、期待する能力を模倣することである。V-JEPAは、人間がラベル付けしたデータを必要とせず、「自己教師あり学習」を通じて観察から学習するルールを使用する。訓練中、ビデオセグメントが提供され、その一部がマスクされる。モデルは、欠けているパッチの内容を予測しようとするが、すべてのピクセルを埋めるのではなく、シーン内の異なる要素が互いにどのように相互作用するかを定義するより小さな潜在的特徴セットを学習する。その後、予測とビデオの実際の内容を比較して損失を計算し、パラメータを調整する。
V-JEPAは、画像に焦点を当てたI-JEPAの後継であり、ビデオから学習することで、世界が時間を通じてどのように変化するかを示し、より一貫した表現を学習する利点がある。V-JEPAは基盤モデルであり、特定のタスクに合わせて設定する必要があるが、V-JEPAモデル自体を微調整してパラメータを変更する必要はない。代わりに、ラベル付けされた少数の例を用いて軽量のディープラーニングモデルを訓練し、V-JEPAから下流タスクへの表現をマッピングすることができる。これにより、画像分類、アクション分類、時空間アクション検出タスクなど、複数のモデルの入力として同じV-JEPAモデルを使用できる。このアーキテクチャは、計算効率が良く、リソース効率が高く、特にロボティクスや自動運転車などの分野のアプリケーションに有用である。
V-JEPAは現在、ビデオでの推論において他の方法を上回っており、Metaの研究チームの次の課題は、モデルの時間的範囲を拡大することである。研究者たちは、多モーダル表現を学習するモデルを試みることによって、JEPAと自然知能とのギャップを狭める計画である。Metaは、他の研究者が使用方法と改善方法を探ることができるように、モデルをクリエイティブ・コモンズ非商用ライセンスの下で公開している。
【ニュース解説】
MetaのAI責任者であるYann LeCunが提唱する、最新の機械学習（ML）モデル「V-JEPA」（Video Joint Embedding Predictive Architecture）は、人間や動物が物体同士の相互作用を予測し、理解する能力を模倣することを目指しています。このモデルは、生のビデオ映像から抽象的な表現を学習することにより、物体が互いにどのように相互作用するかを予測し、期待する能力を持つことが特徴です。
V-JEPAは「自己教師あり学習」を用いており、人間がラベル付けしたデータを必要とせず、観察から学習することができます。訓練中には、ビデオセグメントの一部が隠され、モデルは欠けている部分の内容を予測しようとします。しかし、すべてのピクセルを埋めるのではなく、シーン内の異なる要素がどのように相互作用するかを定義する潜在的特徴セットを学習することに焦点を当てています。
V-JEPAは、画像に焦点を当てた前作I-JEPAの後継モデルであり、ビデオから学習することで時間を通じて世界がどのように変化するかを示し、より一貫した表現を学習する利点があります。また、V-JEPAは基盤モデルであり、特定のタスクに合わせて設定する必要がありますが、モデル自体を微調整する必要はありません。代わりに、ラベル付けされた少数の例を用いて軽量のディープラーニングモデルを訓練し、V-JEPAから下流タスクへの表現をマッピングすることが可能です。
このアーキテクチャは、計算効率が良く、リソース効率が高いため、ロボティクスや自動運転車などの分野でのアプリケーションに特に有用です。V-JEPAは、ビデオでの推論において他の方法を上回っており、Metaの研究チームはモデルの時間的範囲を拡大することを次の課題としています。
この技術のポジティブな側面としては、より自然な方法で世界を理解し、予測するAIの開発が挙げられます。これにより、自動運転車がより安全に運転するための判断を下す能力や、ロボットが人間のように物理的な世界を理解し、適応する能力が向上する可能性があります。しかし、潜在的なリスクとしては、このような高度なAIモデルが誤った予測を行うことで、予期せぬ行動を引き起こす可能性があります。また、AIの能力が向上するにつれて、プライバシーやセキュリティに関する懸念も高まる可能性があります。
将来的には、V-JEPAのようなモデルがさらに発展し、AIが人間のように複雑な世界を理解し、適応する能力を持つことが期待されています。これにより、AIの応用範囲が拡大し、人間の生活をより豊かにする技術が開発される可能性があります。しかし、その過程で、AIの倫理的な使用や、人間とAIの関係についての議論も重要になってくるでしょう。
from Why Meta’s V-JEPA model can be a big deal for real-world AI.
