Stability AIは、Stable Video 3D (SV3D)のリリースにより、ビデオ生成の新たな次元を開拓した。SV3Dは、3Dビデオのレンダリングを可能にするAIビデオツールである。この技術は、画像やテキストプロンプトから短いビデオを生成するStable Video技術を基に開発され、新しい視点合成と3D生成のために適応された。SV3Dは、単一の入力画像から多視点3Dメッシュを作成・変換する能力を加え、ビデオ生成モデルに新たな深みをもたらす。商用利用はStability AI Professional Membershipを通じて利用可能で、非商用目的ではHugging Faceからモデルの重みをダウンロードできる。
SV3Dは、ゲーム制作やeコマースを対象としており、360度オービタルビデオの制作を可能にすることで、より没入感のあるインタラクティブなショッピング体験を提供する。Stable Diffusionテキストから画像へのAIモデルに続くStability AIの製品であり、Stable Zero123モデルの後継として、単一画像からの新しい視点画像を出力する新しい視点合成ネットワークである。SV3Dは、複数の新しい視点を同時に出力し、単一画像からより良い3Dメッシュを生成することができる。
SV3Dの強みは、任意の角度から一貫した新しい多視点画像を生成できることにある。この技術は、3Dニューラル放射場（NeRF）とメッシュ表現を最適化することで、直接生成された新しい視点から高品質の3Dメッシュを生成する。SV3Dには、特定のユースケースに合わせて設計された2つのバリアント、SV3D_uとSV3D_pがあり、SV3D_uはカメラの条件付けなしに単一画像入力に基づいてオービタルビデオを生成し、SV3D_pは単一画像とオービタルビューの両方を受け入れ、指定されたカメラパスに沿った3Dビデオを作成する能力を拡張する。
【ニュース解説】
Stability AIが新たにリリースしたStable Video 3D（SV3D）は、3Dビデオのレンダリングを可能にするAIビデオツールです。この技術は、画像やテキストプロンプトから短いビデオを生成する既存のStable Video技術を基に、新しい視点合成と3D生成のために進化させたものです。SV3Dは、単一の入力画像から多視点3Dメッシュを作成・変換する能力を持ち、ビデオ生成モデルに新たな深みをもたらします。この技術は、商用利用の場合はStability AI Professional Membershipを通じて、非商用目的ではHugging Faceからモデルの重みをダウンロードすることで利用可能です。
SV3Dの主な応用分野としては、ゲーム制作やeコマースが挙げられます。特に、360度オービタルビデオの制作を可能にすることで、より没入感のあるインタラクティブなショッピング体験を提供することが期待されています。SV3Dは、Stable Diffusionテキストから画像へのAIモデルに続くStability AIの製品であり、単一画像から新しい視点画像を出力する新しい視点合成ネットワークとして位置づけられています。
SV3Dの特徴の一つは、任意の角度から一貫した新しい多視点画像を生成できることです。この技術は、3Dニューラル放射場（NeRF）とメッシュ表現を最適化することで、直接生成された新しい視点から高品質の3Dメッシュを生成することが可能です。また、SV3DにはSV3D_uとSV3D_pの2つのバリアントがあり、それぞれ特定のユースケースに合わせて設計されています。SV3D_uはカメラの条件付けなしに単一画像入力に基づいてオービタルビデオを生成し、SV3D_pは単一画像とオービタルビューの両方を受け入れ、指定されたカメラパスに沿った3Dビデオを作成する能力を持っています。
この技術のポジティブな側面としては、ゲーム開発やeコマースなどの分野での新しい表現方法の提供や、よりリアルな3Dモデリングの実現が挙げられます。しかし、潜在的なリスクとしては、このような高度な技術が不正な目的で使用される可能性があります。例えば、実在しない人物や風景をリアルに再現し、虚偽の情報を拡散するなどの懸念があります。また、この技術の進化に伴い、著作権やプライバシーに関する規制も新たな課題となる可能性があります。
将来的には、SV3Dのような技術がさらに進化し、よりリアルで多様な3Dコンテンツの生成が可能になることが期待されます。これにより、映画やアニメーション、バーチャルリアリティ（VR）などの分野でも、より高度な表現が可能になるでしょう。長期的な視点では、この技術の発展が人々の生活や産業に大きな影響を与えることが予想されますが、同時に、技術の倫理的な使用や規制に関する議論も重要になってくるでしょう。
from Stability AI brings a new dimension to video with Stable Video 3D.
