ScreenAIは、UIと情報グラフィックスを理解するためのビジョン言語モデルです。このモデルはPaLIを基にしたアーキテクチャを持ち、マルチモーダルエンコーダーブロックと自己回帰デコーダーで構成されています。画像とテキストの埋め込みを組み合わせた入力を用い、画像のネイティブなアスペクト比を保持する柔軟なパッチング戦略を採用しています。ScreenAIは、事前学習と微調整の2段階でトレーニングされます。
事前学習データセットは、さまざまなデバイスのスクリーンショットから生成され、レイアウトアノテーターとアイコン分類器を用いてUI要素とその空間的関係を識別しラベル付けします。OCRエンジンで画面上のテキストを抽出し、LLMを使用して詳細な説明やトレーニングデータセットを生成します。
実験では、ScreenAIをQA、要約、ナビゲーションのための公開データセットで微調整し、UIと情報グラフィックスに関連するタスクで最先端の結果を達成しました。モデルのサイズが大きくなるとパフォーマンスが向上することが確認され、新しいベンチマークデータセットでも競争力のあるパフォーマンスを示しました。
ScreenAIはUIと情報グラフィックスの理解において競争力がありますが、大規模なモデルにはまだ劣る部分があります。今後の研究でこのギャップを埋めるためにさらなる研究が求められています。開発に協力した全ての人々に感謝の意が表されています。
ニュース解説
Google Researchが開発したScreenAIは、ユーザーインターフェース（UI）と情報グラフィックスを理解するための革新的なビジョン言語モデルです。このモデルは、画像とテキストの両方を理解し、それらの間の関係を解釈する能力を持っています。これにより、スクリーン上のUI要素や情報グラフィックスの内容を正確に識別し、それに関する質問に答えたり、要約を生成したりすることが可能になります。
ScreenAIの開発には、PaLIアーキテクチャが基盤として使用されており、これにより画像とテキストの埋め込みを組み合わせたマルチモーダルな入力を処理できます。また、画像のネイティブなアスペクト比を保持するための柔軟なパッチング戦略が採用されています。この戦略により、さまざまなアスペクト比を持つ画像に対しても効果的に機能します。
事前学習段階では、さまざまなデバイスから収集されたスクリーンショットを用いて、UI要素やその空間的関係を識別し、ラベル付けします。このプロセスには、レイアウトアノテーターやアイコン分類器、OCRエンジンなどが使用され、詳細なスクリーンの説明が生成されます。さらに、大規模言語モデル（LLM）を使用して、質問応答（QA）、UIナビゲーション、要約のトレーニングデータセットを自動生成します。
微調整段階では、公開されているQA、要約、ナビゲーションのデータセットを使用して、ScreenAIをさらに訓練します。この段階での訓練により、ScreenAIはUIと情報グラフィックスに関連するタスクで最先端の結果を達成しました。
ScreenAIの開発は、UIと情報グラフィックスの理解を深めることにより、よりリッチでインタラクティブなユーザーエクスペリエンスを提供することを目指しています。しかし、この技術はまだ大規模なモデルに比べて劣る部分があり、今後の研究でこのギャップを埋める必要があります。
この技術のポジティブな側面としては、ユーザーがUIや情報グラフィックスをより効率的に理解し、操作できるようになることが挙げられます。例えば、視覚障害を持つユーザーがスクリーン上の情報をより容易にアクセスできるようになる可能性があります。一方で、この技術がプライバシーに与える影響や、誤った情報を生成するリスクなど、潜在的な問題も考慮する必要があります。
将来的には、ScreenAIのようなモデルがさらに発展し、さまざまなアプリケーションでのユーザーエクスペリエンスを向上させることが期待されます。また、この技術の進化は、UIデザインや情報グラフィックスの作成における新たな指針を提供する可能性もあります。
from ScreenAI: A visual language model for UI and visually-situated language understanding.
