【ダイジェスト】
Google Researchは、時系列予測のためのデコーダのみの基盤モデルを発表しました。このモデルは、小売、金融、製造、医療、自然科学など様々な分野での時系列予測に広く利用されています。ディープラーニング（DL）モデルは、豊富な多変量時系列データの予測において、様々な設定で良好な性能を発揮することが証明されています。しかし、ほとんどのDLアーキテクチャは、新しい時系列データにモデルをテストする前に、長く複雑なトレーニングと検証のサイクルを必要とします。
この問題に対処するため、Google Researchは「A decoder-only foundation model for time-series forecasting」という論文で、TimesFMという時系列予測のための単一予測モデルを紹介しました。このモデルは、1000億の実世界の時点からなる大規模な時系列コーパスで事前学習されています。TimesFMは200Mのパラメータを持ち、そのゼロショット性能は、特定のデータセットで明示的にトレーニングされた最先端の教師ありアプローチに匹敵します。
TimesFMは、トランスフォーマーレイヤー（自己注意と前方フィードレイヤー）を主要な構成要素として使用し、時系列のパッチ（連続する時点のグループ）をトークンとして扱います。このモデルは、大量の正当な時系列データを学習することで改善されます。訓練データセットの作成と評価には多大な時間が費やされ、合成データと実世界のデータの両方が使用されます。Google TrendsやWikipediaのページビューなどのデータセットが含まれ、これらは人々の関心事を追跡し、多くの実世界の時系列のトレンドやパターンを反映しています。
ゼロショット評価の結果、TimesFMは訓練中に見ていないデータに対して、ARIMAやETSなどの統計的方法よりも優れた性能を示し、DeepARやPatchTSTなどの強力なDLモデルと匹敵またはそれを上回る性能を発揮します。Monash Forecasting Archiveを使用した評価では、TimesFMのゼロショット性能が多くの教師ありアプローチを上回ることが確認されました。また、長期予測のベンチマークでは、TimesFMが最新のベースラインであるPatchTSTモデルと同等の性能を示しました。
この研究は、Google ResearchとGoogle Cloudの複数の個人間のコラボレーションの結果です。
【参考サイト】
Google Researchオフィシャルサイト（外部）
論文「A decoder-only foundation model for time-series forecasting」（外部）
【ニュース解説】
Google Researchが発表した「TimesFM」という新しい時系列予測モデルは、小売、金融、製造、医療、自然科学など、多岐にわたる分野での時系列予測に革命をもたらす可能性を秘めています。このモデルは、従来のディープラーニング（DL）モデルが直面していた長期間にわたるトレーニングと検証のサイクルを必要とする問題を解決するために開発されました。TimesFMは、1000億の実世界の時点からなる大規模な時系列コーパスで事前学習され、200Mのパラメータを持つ比較的小規模なモデルでありながら、特定のデータセットで明示的にトレーニングされた最先端の教師ありアプローチに匹敵するゼロショット性能を発揮します。
TimesFMの特徴は、トランスフォーマーレイヤーを使用して時系列のパッチ（連続する時点のグループ）をトークンとして扱う点にあります。このアプローチにより、モデルは大量の時系列データからパターンを学習し、見たことのない新しい時系列データに対しても高精度な予測を行うことができます。訓練データセットには、合成データと実世界のデータの両方が使用され、Google TrendsやWikipediaのページビューなどのデータセットが含まれています。これにより、モデルは実世界のトレンドやパターンをよりよく理解し、様々なドメインにおける時系列予測の精度を向上させることができます。
ゼロショット評価の結果、TimesFMはARIMAやETSなどの統計的方法よりも優れた性能を示し、DeepARやPatchTSTなどの強力なDLモデルと匹敵またはそれを上回る性能を発揮しました。これは、特に新しい時系列データに対する予測が必要な場合に、迅速かつ正確な予測を提供することができることを意味します。また、長期予測のベンチマークでは、TimesFMが最新のベースラインであるPatchTSTモデルと同等の性能を示し、長期にわたる予測の精度も保証されています。
この技術の導入により、企業は在庫コストの削減や収益の増加など、ビジネス運営における多くの利点を享受できるようになります。しかし、大量のデータに基づいて学習するモデルの性質上、データの質や偏りが予測結果に影響を与える可能性があるため、使用するデータの選定と評価には注意が必要です。また、このような強力な予測モデルの普及に伴い、プライバシーや倫理的な問題に対する慎重な検討と適切な規制の整備も求められます。
将来的には、TimesFMのようなモデルがさらに進化し、より多様なデータソースを活用して、さらに正確で包括的な時系列予測を提供することが期待されます。これにより、気候変動の予測、疫病の拡散予測、経済動向の予測など、社会にとって重要な多くの分野での意思決定支援が強化されることでしょう。
from A decoder-only foundation model for time-series forecasting.
