Metaが開発したAI研究システム「SceneScript」は、ヘッドセットやメガネが部屋のレイアウトや家具を理解できるようにする技術である。このシステムは、大規模言語モデル（LLMs）と同様の技術を利用しており、言語の次のフラグメントを予測する代わりに、3Dポイントクラウドキャプチャ内の建築要素や家具を予測する。出力は、与えられた家具や要素の基本的な境界を表すプリミティブな3D形状のシリーズである。
Quest 3は部屋の生の3Dメッシュを生成し、この3Dメッシュから壁、床、天井の位置を推測できるが、現在はこのメッシュ内の特定の要素（ドア、窓、テーブル、椅子、ソファなど）をどの形状が表しているかを認識できない。Questヘッドセットはユーザーがこれらのオブジェクトを手動で単純な直方体としてマークすることを許可しているが、これは任意であり、開発者はユーザーがこれを行っているとは限らない。
SceneScriptのような技術がQuest 3のミックスドリアリティシーンセットアップに統合されれば、開発者は特定の家具要素の上や周りに仮想コンテンツを自動的に配置できるようになる。例えば、窓をポータルに置き換えたり、椅子を仮想の座席にしたり、ソファを砂袋で固めた位置に変えることが可能になる。これらは現在、ユーザーに家具を手動でマークさせるか、時には手動のアルゴリズムでシーンメッシュを解釈することで可能だが、SceneScriptはそれをシームレスで自動的に行うことができる。
SceneScriptは将来のヘッドセットやARメガネでのAIアシスタントにも大きな可能性を持っている。例えば、「このデスクは私の寝室に収まるか？」や「この部屋を塗るのに何ポットのペンキが必要か？」といった質問や、「大きなテーブルに[AR/MRアプリ]を配置する」といったコマンドに対応できる。
しかし、現時点ではMetaはSceneScriptを研究としてのみ説明しており、近い将来の製品機能のアップデートとしては提案していない。この技術がいずれQuest 3に実装される可能性はあるが、それがいつになるかは示唆されていない。
【ニュース解説】
Metaが開発したAI研究システム「SceneScript」は、ヘッドセットやメガネが部屋のレイアウトや家具を理解し、それに応じて仮想コンテンツを配置できるようにする技術です。このシステムは、大規模言語モデル（LLMs）と同じ基本技術を使用していますが、言語のフラグメントを予測するのではなく、3Dポイントクラウドキャプチャ内の建築要素や家具を予測します。これにより、部屋の家具や要素の基本的な境界を表すプリミティブな3D形状が出力されます。
現在のQuest 3ヘッドセットは、部屋の3Dメッシュを生成し、壁、床、天井の位置を推測することはできますが、特定の家具や要素を認識することはできません。ユーザーは手動でこれらのオブジェクトをマークすることができますが、このプロセスは任意であり、開発者はユーザーがこれを行っているとは限りません。
SceneScriptがQuest 3に統合されれば、開発者は特定の家具要素の上や周りに仮想コンテンツを自動的に配置することが可能になります。これにより、ユーザー体験が向上し、よりリアルな仮想現実体験が提供されるようになります。また、将来のヘッドセットやARメガネでのAIアシスタントにも応用が期待されており、部屋のレイアウトや家具に関する質問に答えたり、特定のアクションを実行することが可能になります。
しかし、Metaは現時点でSceneScriptを研究プロジェクトとして位置づけており、製品機能としての実装はまだ先の話であることを示唆しています。この技術が市場に出るまでには時間がかかるかもしれませんが、そのポテンシャルは非常に大きく、仮想現実や拡張現実の体験を大きく変革する可能性を秘めています。
この技術のポジティブな側面としては、ユーザーがより没入感のある仮想現実体験を楽しめるようになること、また、日常生活の中でのARアシスタントの利用がより実用的になることが挙げられます。一方で、プライバシーの懸念や、このような高度な技術がもたらす社会的な変化への適応も重要な課題となります。規制やガイドラインの整備が、技術の健全な発展とユーザーの権利保護のために不可欠です。将来的には、この技術が日常生活の様々な場面で活用されることで、私たちの生活がより便利で豊かになることが期待されます。
from Meta AI Research: Making Headsets And Glasses Understand Your Room Layout & Furniture.
