AIの基本用語を整理。LLM・トークン・RAGの違い
生成AIの記事でよく見るLLM、プロンプト、コンテキスト、トークン、RAGなどの意味と違いを説明します。
AIの記事を読むと、「LLM」「コンテキスト」「RAG」などの言葉が続けて出てきます。
このページは、AIを学び始めた人のための入門記事です。難しい仕組みを暗記するのではなく、似た言葉の違いとつながりを、身近な例から整理します。
まずは3つだけ覚えよう
- 生成AIは、文章や画像などを作るAIの一種です。
- プロンプトは「今回の指示」、コンテキストは「回答に使える情報全体」です。
- AIの回答は間違うことがあるため、大切な情報は元の資料で確認します。
AIと生成AIの違い
**AI(人工知能)**は、人が決めた目的に沿って予測、判断、提案などを行う技術や仕組みの総称です。
生成AIはAIの一種で、文章、画像、音声、動画、コードなど、新しい内容を作ることを得意とします。
| 用語 | 主な役割 | 例 |
|---|---|---|
| AI | 予測・分類・判断などを行う | 迷惑メール判定、商品推薦 |
| 生成AI | 新しい内容を作る | 文章作成、画像生成、コード生成 |
生成AIはAIに含まれますが、すべてのAIが文章や画像を作るわけではありません。
AIモデルとAIサービス
AIモデルは、質問に対する答えを作る、AIの頭脳にあたる部分です。多くのデータから学んだ傾向を使って、回答を作ります。
AIサービスは、そのモデルをチャット画面、検索、ファイル管理などと組み合わせ、利用者が使える形にした製品全体です。
| 用語 | 簡単にいうと |
|---|---|
| AIモデル | 回答を作る中心部分 |
| AIサービス | モデルと画面や機能を組み合わせた製品 |
同じモデルを使っていても、サービス側の機能や設定が違えば使い心地は変わります。
LLMとは
LLMはLarge Language Modelの略で、日本語では大規模言語モデルと呼ばれます。
大量の文章から言葉の並びや関係を学びます。そして、次に来そうな言葉を少しずつ予測しながら文章を作ります。質問への回答、要約、翻訳、文章作成、コード生成などに使われます。
LLMは自然な文章を作れますが、内容を人間と同じ方法で理解しているとは限りません。
プロンプトとコンテキスト
プロンプトは、利用者がAIへ渡す質問や指示です。
コンテキストは、AIが回答を作るときに読める情報全体です。現在の指示だけでなく、会話履歴や添付資料なども含まれます。サービスがあらかじめAIへ与えているルールや、検索で見つけた情報が含まれる場合もあります。
| 用語 | 範囲 |
|---|---|
| プロンプト | 今回入力した質問や指示 |
| コンテキスト | 回答時に参照できる情報全体 |
トークンと文字数
トークンは、AIが文章を処理するときの単位です。
1トークンが1文字とは限りません。文字、単語、単語の一部、句読点などに分かれ、分け方は言語やモデルによって異なります。
そのため「1,000文字なら必ず何トークン」とは決められません。AIサービスの利用上限やAPI料金では、文字数ではなくトークン数が基準になることがあります。
コンテキストウィンドウ
コンテキストウィンドウは、モデルが一度に扱えるトークン量の上限です。
長い会話や大量の資料を入れると上限に近づき、古い情報が参照されなくなったり、入力を短くする必要が出たりします。上限が大きくても、必要な情報を整理して渡すことは大切です。
学習と推論
| 用語 | 行っていること |
|---|---|
| 学習(トレーニング) | 大量の例から、答え方の傾向を身につける |
| 推論 | 学習済みモデルから回答や予測を作る |
普段チャットAIへ質問して返答を受け取る処理は、主に推論にあたります。
ハルシネーション
ハルシネーションは、生成AIが事実と異なる内容を、もっともらしく出力する現象です。
自然な文章だから正しいとは限りません。日付、料金、固有名詞、医療・法律・お金に関する情報などは、公式資料や信頼できる情報源で確認しましょう。
マルチモーダル
マルチモーダルは、文章だけでなく、画像、音声、動画など複数の形式を扱えることです。
画像を見て説明する、音声を文字にする、文章から画像を作るといった使い方があります。対応する入力と出力の種類はモデルごとに異なります。
RAGとは
RAGはRetrieval-Augmented Generationの略で、日本語では検索拡張生成と呼ばれます。
質問に関連する情報を文書やデータベースから検索し、その内容をLLMへ渡して回答を作る仕組みです。
RAGの流れは、次の4段階で考えると分かりやすくなります。
- 利用者が質問する
- 質問に関係する資料を探す
- 見つけた資料をLLMへ読ませる
- 資料を参考に回答を作る
通常のLLMが主に学習時の知識と入力内容を使うのに対し、RAGは外部資料を回答材料として追加できます。最新情報や社内資料を扱いやすくなりますが、検索結果や元資料が誤っていれば回答も不正確になり得ます。
まとめ
AIモデルが回答を作る中心部分で、AIサービスはそれを使いやすい製品にしたものです。プロンプトは今回の指示、コンテキストは回答に使える情報全体です。
最初からすべて覚える必要はありません。記事の中で分からない言葉が出たときは、初心者向け用語集も利用してください。
参考資料
以下は説明の確認に使った資料です。この記事を理解するために、すべて読む必要はありません。