Google Researchの研究インターンであるAmirkeivan MohtashamiとソフトウェアエンジニアのFlorian Hartmannは、大規模言語モデル（LLMs）を用いた協調学習に関する研究を発表しました。この研究では、人間が社会的環境で行うように、LLM同士が互いに学び合い、パフォーマンスを向上させることができるかどうかを探求しています。
研究チームは、「Social Learning: Towards Collaborative Learning with Large Language Models」という論文で、LLMが自然言語を使用してプライバシーに配慮しながら知識を共有する社会学習の枠組みを提案しました。この枠組みでは、エージェントが勾配に依存する従来の協調学習アプローチとは異なり、純粋に自然言語を使用して互いに教え合います。
研究では、スパム検出、小学校レベルの数学問題の解決、与えられたテキストに基づく質問への回答など、様々なタスクで学生モデルのパフォーマンスを評価しました。また、プライバシーの懸念から直接共有できない例を教える際に、社会学習が有効であることを示すために、合成例や合成指示を生成する方法を提案しました。
さらに、研究チームは、社会学習プロセスがトレーニングデータをどの程度記憶しているかを測定するために、Secret Sharerメトリックを適応させました。この分析により、教師モデルがデータを直接コピーすることなく知識を伝達していることが示されました。
今後のステップとして、フィードバックループや反復を追加することで教育プロセスを改善する方法や、テキスト以外のモダリティでの社会学習の使用について調査することが挙げられています。この研究には、Matt Sharifi、Sian Gooding、Lukas Zilka、Blaise Aguera y Arcasらが共著者として参加し、Victor Cărbune、Zachary Garrett、Tautvydas Misiunas、Sofia Neata、John Plattからのフィードバックに感謝の意を表しています。
【ニュース解説】
Google Researchの研究チームが、大規模言語モデル（LLMs）を用いた新しい協調学習の枠組みを発表しました。この研究は、人間が社会的環境で互いに学び合うプロセス、すなわち社会学習を模倣し、LLM同士が自然言語を介して知識を共有し合うことで、互いのパフォーマンスを向上させる可能性を探っています。
この枠組みの中心にあるのは、プライバシーに配慮しながら、教師モデルが学生モデルにタスクを教えるプロセスです。従来の協調学習がデータの勾配を共有するのに対し、このアプローチでは純粋に自然言語を用いて知識が伝達されます。これにより、プライバシーを保護しつつ、効果的な学習が可能になります。
研究チームは、スパム検出や数学問題の解決など、様々なタスクでこの枠組みの有効性を検証しました。特に注目すべきは、プライバシーの懸念から直接共有できないデータを用いた学習の場合、合成例や合成指示を生成して学習を行う方法が提案されている点です。これにより、実際のデータを共有することなく、類似の学習効果を得ることが可能になります。
また、社会学習プロセスがトレーニングデータをどの程度記憶しているかを測定するために、Secret Sharerメトリックが適応されました。この分析は、教師モデルがデータを直接コピーせずに知識を伝達していることを示しており、プライバシー保護の観点から重要な意味を持ちます。
この研究は、LLMを用いた学習プロセスにおいて、プライバシー保護と効率的な知識伝達のバランスをどのように取るかという新たな視点を提供しています。今後、フィードバックループや反復を取り入れた教育プロセスの改善、テキスト以外のモダリティでの社会学習の適用など、さらなる研究が期待されます。このような進展は、教育、プライバシー保護、AIの進化といった分野において、長期的な影響を与える可能性があります。
from Social learning: Collaborative learning with large language models.
