【ダイジェスト】
マイクロソフトリサーチが、一般AIの時代における科学技術研究についてのアイデアを交換するための「Microsoft Research Forum」を開催します。このフォーラムは1月30日から始まり、最新の研究進展や大胆な新しいアイデア、世界の研究コミュニティとの重要な議論を探求します。この四半期ごとのシリーズの全エピソードへのアクセスを受け取り、会話の一部となるために今すぐ登録しましょう。
新しい研究では、自然言語のセマンティック情報をエンコードするテキスト埋め込み、つまりベクトル表現に焦点を当てています。これらは情報検索、質問応答、セマンティックテキスト類似性、ビテキストマイニング、アイテム推薦など、様々な自然言語処理タスクで広く使用されています。マイクロソフトの研究者たちは、合成データのみを使用し、1,000ステップ未満のトレーニングで高品質なテキスト埋め込みを得るための新しいシンプルな方法を紹介しています。既存の方法と異なり、この新しい方法は複雑なトレーニングパイプラインの構築や、タスクの多様性や言語カバレッジによってしばしば制約される手作業によるデータセットの収集を必要としません。研究者たちは、独自の大規模言語モデル（LLM）を活用して、ほぼ100言語にわたる数十万のテキスト埋め込みタスクのための多様な合成データを生成し、その後、標準的なコントラスト損失を使用してオープンソースのデコーダーのみのLLMを合成データで微調整します。実験により、この方法はラベル付きデータを一切使用せずに、競争の激しいテキスト埋め込みベンチマークで強力なパフォーマンスを達成することが示されました。さらに、合成データとラベル付きデータの混合で微調整すると、モデルはBEIRおよびMTEBベンチマークで新たな最先端の結果を設定します。
マイクロソフトリサーチのポッドキャスト「AI Frontiers」では、マイクロソフトリサーチの責任者であるピーター・リーとAI科学者兼エンジニアのアシュリー・ローレンスが、AI研究の未来とGPT-4を医療の共同パイロットとしての可能性について議論しています。
また、ソフトウェア開発者の開発ライフサイクルにおける摩擦や赤テープに焦点を当てた新しい研究があります。成功したコードの本番環境へのデリバリーは、しばしばイライラするほど稀な出来事です。さらに悪いことに、問題はしばしば管理の関与の欠如によって悪化し、トップエンジニアを遅らせてイライラさせます。開発者体験（DevEx）は、AIのような変革的な技術と財政引き締めの背景に対してソフトウェア配信を最適化しようとする多くの組織のリーダーによって高まる注目を集めています。開発者と技術リーダーは一般的に、良いDevExがより良い製品、より効果的なソフトウェア配信、そして開発者の幸福につながることを理解しています。しかし、多くの組織では、DevExの改善に向けた提案されたイニシアチブや投資が、ビジネスステークホルダーから改善の価値提案を疑問視されるため、承認を得るのに苦労しています。マイクロソフト、GitHub、DXの研究者たちはこの問題を検討し、DevExの改善が生産性、コード品質、イノベーションなどの成果にどのように影響を与えるかについての実証的な証拠を提示しています。
【ニュース解説】
マイクロソフトリサーチが、一般AIの時代における科学技術研究に関するアイデア交換の場として「Microsoft Research Forum」を開催することを発表しました。このフォーラムは2024年1月30日から始まり、四半期ごとにシリーズが展開されます。参加者は最新の研究進展や新しいアイデア、世界の研究コミュニティとの議論に参加することができます。
新しい研究の一環として、マイクロソフトの研究者たちは、合成データと少ないトレーニングステップを用いて高品質なテキスト埋め込みを生成する方法を開発しました。テキスト埋め込みは、自然言語の意味情報をベクトル形式で表現する技術で、情報検索や質問応答など多くの自然言語処理タスクに利用されます。この新しい方法は、複雑なトレーニングパイプラインや手作業によるデータセットの収集を必要とせず、大規模言語モデルを用いて多様な合成データを生成し、オープンソースのデコーダーのみの言語モデルを微調整することで実現されます。このアプローチは、ラベル付きデータを使用せずに高いパフォーマンスを達成し、合成データとラベル付きデータを組み合わせることで、さらに最先端の結果を出すことができます。
また、ソフトウェア開発者の開発ライフサイクルにおける摩擦や赤テープを減らすことに焦点を当てた研究も発表されました。開発者体験（DevEx）の改善は、生産性、コード品質、イノベーションに肯定的な影響を与えることが示されています。しかし、多くの組織ではDevExの改善に対するビジネスステークホルダーの支持を得るのが難しいという問題があります。この研究は、DevExの改善が具体的にどのような影響をもたらすかを実証的に示しており、組織におけるDevExの重要性を強調しています。
これらの研究は、AI技術の進化とともに、ソフトウェア開発のプロセスを改善し、より効率的で質の高い製品を生み出すための基盤を提供します。また、言語モデルを活用したテキスト埋め込みの進化は、多言語対応のアプリケーションやサービスの開発を促進し、グローバルなコミュニケーションの障壁を低減する可能性を秘めています。一方で、これらの技術の進歩は、倫理的な問題やプライバシーの懸念、仕事の自動化による雇用への影響など、新たな課題を生み出す可能性もあります。長期的には、これらの研究がAIとソフトウェア開発の未来を形作る重要なステップとなることが期待されます。
from Research Focus: Week of January 22, 2024.
