【ダイジェスト】
Retrieval Augmented Generation (RAG)は、事前に訓練された大規模言語モデルと他のデータソースとの間の知識ギャップを埋めるための人気のあるパラダイムとなっています。開発者の生産性を向上させるために、いくつかのコードコピロットがコード補完に役立ちます。コード検索は、RAGの時代に再考される古い問題です。新しいコードベース（GitHubリポジトリ）に貢献しようとする際、変更するファイルと変更箇所を知ることは時間がかかることがあります。
技術的な解決策は2つの部分から構成されます。まず、各ファイル（例：.py、.java）に対して埋め込みを生成するためのベクトルインデックスを構築します。次に、ベクトルインデックスをクエリし、GPT-xを呼び出して指示を提供するためにコードインタープリターを活用します。
ベクトルインデックスの構築には、GitHubリポジトリのローカルコピーを取得した後、正規表現（*.py、*.sh、*.java）に一致するすべてのファイルをトラバースし、内容を読み取って埋め込みを生成します。これには、OpenAIのAda埋め込みやSentence BERT埋め込み（またはその両方）を使用します。異なる埋め込みに基づいて複数のベクトルストアを構築することで、検索の品質が向上しますが、複数のインデックスを維持するコストがかかります。
インデックスが構築されたら、ターミナルからコードベースに関する質問を直接行うことができるシンプルなコマンドラインPythonスクリプトを実装できます。Open Interpreterを活用することができます。Open Interpreterを使用する理由の一つは、GPT-4や他のLLMを直接呼び出す代わりに、ファイルの変更やコマンドの実行を行うことができるためです。Open InterpreterはGPT-4との対話を処理します。
このシンプルなRAGソリューションの利点には、以下が含まれます：加速されたオンボーディング、新しい貢献者がコードベースに迅速に慣れることができ、オンボーディング時間を短縮します。具体的な指導により、新参者が間違いを犯したりバグを導入したりする可能性が低くなります。支援ツールは、コードベースに不慣れなため躊躇しているコミュニティからのより多くの貢献を促進することができます。経験豊富な開発者にとっても、このツールはコードベースのあまり知られていない部分を発見し学ぶ手段となることができます。
【ニュース解説】
Retrieval Augmented Generation（RAG）は、事前に訓練された大規模言語モデル（LLM）と他のデータソース間の知識のギャップを埋めるための新しいアプローチとして注目を集めています。特に、開発者の生産性を向上させるために、コード補完を助けるコードコピロットの役割を担っていますが、コード検索の問題に対してもRAGが再考されています。新しいGitHubリポジトリへの貢献を試みる際、どのファイルを変更し、どこに変更を加えるべきかを知ることは、時間がかかり、困難な作業です。
この技術的解決策は、各ファイルに対してベクトルインデックスを生成し、そのインデックスをクエリしてGPT-xなどのLLMを呼び出し、指示を提供する2つの部分から構成されます。このプロセスには、GitHubリポジトリのローカルコピーから、特定のファイル形式（例：.py、.java）をトラバースし、それらの内容から埋め込みを生成し、ベクトルストアを構築する作業が含まれます。異なる種類の埋め込みを使用することで検索品質が向上しますが、複数のインデックスを維持するコストが発生します。
インデックスが構築されると、開発者はコマンドラインから直接、コードベースに関する質問を行うことができます。この際、Open Interpreterを利用することで、GPT-4などのLLMとの対話が可能になり、ファイルの変更やコマンドの実行を行うことができます。
この技術の利点は多岐にわたります。新しい貢献者がコードベースに迅速に慣れることができ、オンボーディングの時間を短縮することができます。また、具体的な指導により、新参者が間違いを犯したりバグを導入したりするリスクが低減されます。さらに、このような支援ツールは、コードベースに不慣れなために躊躇しているコミュニティからの貢献を促進することができます。経験豊富な開発者にとっても、このツールはコードベースのあまり知られていない部分を発見し、学ぶ手段となり得ます。
しかし、この技術には潜在的なリスクも存在します。LLMは時に誤った情報を生成することがあり（「ハルシネーション」と呼ばれる）、これが開発者に誤った指示を与える可能性があります。また、複数のインデックスを維持することによるコストや、プライバシーとセキュリティの懸念も考慮する必要があります。将来的には、これらの技術的、倫理的課題を克服し、より信頼性の高いコード検索と補完ツールを開発することが期待されています。
from Code Search Using Retrieval Augmented Generation.
