XLLMは、既存の検索プラットフォームが要件を満たさなかったため、信頼性のある情報を迅速に検索する目的で開発されました。このシステムは、高速で効率的、スケーラブルで柔軟性があり、シンプルな設計を特徴としており、WolframやWikipediaなどの大規模なデータベースや書籍の情報を統合して包括的な検索結果を提供します。
XLLMには、エンドユーザー向けのXLLM-shortと開発者向けのXLLMの2つのバージョンがあります。そのアーキテクチャは、情報源の選定、クロールデータからの情報抽出、単語辞書の作成、トークンと関連コンテンツの関連付け、ユーザークエリの解析など、複数のステップで構成されています。また、アクセント付き文字やストップワードの処理、自動修正、単数形への変換などに特別な配慮がされており、ニューラルネットワークやトレーニングを使用せずにカテゴリごとにテーブルを持つ設計となっています。
将来的には、WolframだけでなくWikipediaや著書などの情報を組み合わせることで、さらに包括的な検索結果を提供する予定です。モネタイゼーションに関しては、広告主のキーワードを受け入れること、有料バージョンの提供、Web APIとしての提供が検討されています。XLLMのコードとテーブルはGitHubで公開されており、今後のアップデート情報はニュースレターを通じて提供される予定です。
from Why and How I Created my Own LLM from Scratch.
