人工知能と計算言語学の分野は、大規模言語モデル（LLM）の登場により、テキストの続きを予測できるChatGPTのようなモデルを含む、画期的な進歩を遂げました。LLMは、テキスト生成、理解、要約、翻訳などの実用的なタスクを実行できる一方で、言語使用の研究ツールとして、また研究対象としても、言語学者にとって理論的な関心事です。
2024年2月にデンバーで開催されたアメリカ科学振興協会（AAAS）年次総会では、3人の計算言語学者が言語研究のためのLLMの約束と落とし穴について議論しました。コロラド大学ボルダー校のジェームズ・マーティンは、人間の脳とLLMが言語を学び、使用する方法の重要な違いを示す興味深い例を提供しました。LLMがテキストを要約する際に「ホールシネーション」と呼ばれる現象、つまり作り話をすることがありますが、マーティンはLLMが完全に根拠のない情報を生成するわけではないことを示しました。
テキサス大学オースティン校の言語学助教授カイル・マホワルドは、言語を正しく扱えるモデルが思考も得意であるかどうかについて議論しました。人間は見たことのない文法構造を理解できる一方で、LLMも訓練データに稀な構造を学ぶことができることが彼の研究で示されました。LLMがどのようにしてこれらの稀な構造を学ぶかは現在の言語学研究の主題ですが、LLMは関連する理論的言語学的質問に答えるために使用できることが結論付けられました。
フロリダ大学のサラ・モラーは、LLMが「小さな」言語、つまりデジタルテキストの大規模なサンプルによって代表されていない言語に与える影響について質問しました。彼女は、LLMが成功した言語が少数派の言語放棄に圧力をかける可能性があるかどうか、そしてLLMが「小さな」言語を危険にさらすかどうかは、それを使用し研究する人々により依存すると指摘しました。モラーは、LLMの潜在的な約束を活用して「小さな」言語の研究と保護のために科学者がどのように利益を得ることができるかという重要な質問を提起しました。
【ニュース解説】
大規模言語モデル（LLM）の登場は、人工知能（AI）と計算言語学の分野において、テキストの続きを予測する能力を持つChatGPTのようなモデルを通じて、画期的な進歩をもたらしました。これらのモデルは、テキスト生成、理解、要約、翻訳などの実用的なタスクを実行することができるだけでなく、言語使用の研究ツールとして、また研究対象としても、言語学者にとっての理論的な関心事となっています。
2024年2月にデンバーで開催されたアメリカ科学振興協会（AAAS）年次総会では、LLMの言語研究における約束と落とし穴について、3人の計算言語学者が議論を交わしました。人間の脳とLLMが言語を学び、使用する方法の違いを示す例として、LLMがテキストを要約する際に「ホールシネーション」と呼ばれる現象、つまり作り話をすることがあることが指摘されました。しかし、この「ホールシネーション」が完全に根拠のない情報を生成するわけではなく、実際には既存の情報に基づいていることが示されました。
言語を正しく扱えるモデルが必ずしも思考も得意であるとは限らないという議論もありました。人間は見たことのない文法構造を理解できる能力を持っていますが、LLMも訓練データに稀な構造を学ぶことができることが示されています。これは、LLMが言語学的な質問に答えるための有用なツールとなり得ることを意味します。
また、LLMが「小さな」言語、つまりデジタルテキストの大規模なサンプルによって代表されていない言語に与える影響についても議論されました。LLMが成功した言語が少数派の言語放棄に圧力をかける可能性がある一方で、LLMが「小さな」言語を危険にさらすかどうかは、それを使用し研究する人々により依存すると指摘されました。重要なのは、LLMの潜在的な約束を活用して「小さな」言語の研究と保護のために科学者がどのように利益を得ることができるかということです。
この進歩は、言語学の理論的な研究だけでなく、言語の保護と振興においても新たな可能性を開くことを示しています。しかし、LLMの使用には注意が必要であり、特に「ホールシネーション」のような現象は、情報の正確性を損なう可能性があるため、その理解と管理が重要です。また、デジタル化されていない言語の保護と振興において、LLMがどのように貢献できるかを探ることは、言語多様性の維持にとって重要な課題となります。
from Conversations with AI.
