AI（人工知能）とは、コンピュータが問題を解決するためのメカニズムをソフトウェアにハードコーディングすることなく、学習に基づいて問題を解決する能力です。
AIの分野では、人間の脳を模した「人工ニューラルネットワーク」が使用されます。これは、言語や単語の関連性に基づいたノード（ニューロン）と接続（シナプス）で構成されています。
特に「大規模言語モデル（LLM）」は、膨大なインターネット上のテキストデータを学習し、数十億から数兆もの「パラメータ」を持つことがあります。これらのパラメータを使って、LLMは入力に基づいて最も適切な単語を生成します。
「埋め込み（embeddings）」は、単語を数値のリストに変換し、これによってコンピュータは単語間の意味的類似性を数学的に判断できます。
「GPT（Generative Pre-trained Transformer）」は、LLMの一種で、言語を理解し、テキストや画像などを生成する能力を持ちます。例えば、ChatGPTは入力に基づいてテキストを出力しますが、その結果は非決定論的であり、同じ入力に対して異なる結果を生むことがあります。
GPTは、学習データに基づいて最も可能性の高い出力を生成しますが、真実や事実を理解するわけではありません。また、予期せぬ「幻覚」を引き起こすことがあり、これは時に奇妙な結果をもたらすことがあります。
この記事では、AI、ニューラルネットワーク、LLM、パラメータ、埋め込み、GPT、非決定論、幻覚について学びました。次回の投稿では、これらの概念をプロンプトエンジニアリングを通じてさらに探求します。
from AI for Web Devs: What Are Neural Networks, LLMs, & GPTs?.
