Google ResearchのインターンであるGladys Tyenによるブログ記事では、大規模言語モデル（LLM）が自身の間違いを特定し、修正する能力について議論されています。LLMは多段階の質問応答やタスク完了、コード生成、数学問題などの推論タスクで人気が高まっていますが、訓練されていないタスクでは特に、常に正しい解決策を最初の試みで見つけるわけではありません。したがって、これらのシステムが最も有用であるためには、間違いを特定し、別の解決策を見つけるために後戻りする能力が必要です。
Google Researchは、LLMが自身の出力における問題を特定し、フィードバックに基づいて改善された結果を生成する自己修正に関連する方法に注目しています。自己修正は一般的に単一のプロセスと考えられていますが、間違いの発見と出力の修正の2つのコンポーネントに分けて考えることにしました。研究では、最先端のLLMを間違いの発見と出力の修正に分けてテストし、BIG-Bench Mistakeという評価ベンチマークデータセットを提示しています。このデータセットは、LLMがChain-of-Thought（CoT）スタイルの推論で論理的な間違いを見つけることができるか、間違いの発見を正解の代理として使用できるか、間違いが分かった上でLLMが正しい答えにたどり着くために後戻りできるか、そして間違いの発見がLLMが見たことのないタスクに一般化できるかという質問に対処しています。
研究結果は、現在のLLMは論理エラーを見つけるのに苦労していることを示していますが、エラーの場所が分かれば、後戻り戦略がタスクにおける改善をもたらすことが効果的であることを示しています。また、一般的な間違いの発見タスクで訓練された小さな報酬モデルを使用して、ドメイン外の間違いの発見を改善し、間違いの発見が一般化できることを示しています。
この研究には、アイデアの提供と実験およびデータ収集に協力したPeter Chen、Tony Mak、Hassan Mansoor、Victor Cărbuneに感謝の意が表されており、論文にコメントと提案をしたSian GoodingとVicky Zayatsにも感謝が述べられています。
from Can large language models identify and correct their mistakes?.
