ChatGPTは英語では高性能を発揮するが、日本語を含む他言語では自然なテキスト生成が難しいとされている。日本語の学術論文とChatGPTによるテキストを区別できることが示されており、日本語や韓国語などのアジア言語特有の文法や表現で間違いを犯すことがある。これは、英語にはない特徴が存在し、トークン化のプロセスが複雑であるためである。性能向上のためには、より多くのトレーニングデータが必要とされている。
LLM（Large Language Models）のトレーニングデータは英語が主であり、他言語のデータは限られている。特に低リソース言語では、科学論文などのデータが不足しており、トレーニングデータの確保が課題となっている。英語から学んだ知識は一部他言語にも応用可能だが、文字や単語、文法の類似性が高い言語でのみ効果的である。
さらに、LLMは英語の学習を通じて西洋の価値観やスタイルに偏ったバイアスを持つ可能性があり、他国や言語の独自性を排除する恐れがある。この文化的バイアスの問題に対して、研究者はより多くの注意を払う必要があるとされている。
ニュース解説
ChatGPTやその他の大規模言語モデル（LLM）は、英語でのテキスト生成において高い性能を発揮していますが、日本語や韓国語などのアジア言語を含む他の言語では、自然なテキスト生成が難しいとされています。これは、これらの言語が持つ独特の文法や表現、文字の使用方法が英語と大きく異なるためです。例えば、日本語では単語間にスペースを入れずに書かれ、漢字やひらがな、カタカナといった異なる文字体系を混在させて使用します。これらの特徴は、テキストを生成する際の基本単位であるトークンを作成するプロセスを複雑にします。
LLMのトレーニングには大量のデータが必要ですが、英語以外の言語で利用可能なトレーニングデータは限られています。特に、科学論文などの専門的な文書が不足している低リソース言語では、モデルの性能向上が一層困難です。しかし、英語で学んだ知識の一部は、文字や単語、文法の類似性が高い他の言語にも応用可能であるとされています。
一方で、LLMが英語の学習を通じて西洋の価値観やスタイルに偏ったバイアスを持つ可能性が指摘されています。これは、他国や言語の独自性を排除する恐れがあり、文化的多様性に対する懸念を引き起こしています。この問題に対しては、研究者たちがより注意深く取り組む必要があるとされています。
このような背景から、LLMの多言語対応と性能向上に向けた取り組みが進められています。例えば、韓国の検索エンジン会社Naverは、20年以上にわたる検索エンジンデータを活用し、韓国語のトークンを1兆個以上作成することで、韓国語と英語の両方で高い性能を発揮するモデルを開発しました。このような努力により、LLMの多言語対応と性能向上が進むことが期待されています。
from Can ChatGPT Learn Chinese or Swahili?.
