AI

AIの基本用語を整理。LLM・トークン・RAGの違い

生成AIの記事でよく見るLLM、プロンプト、コンテキスト、トークン、RAGなどの意味と違いを説明します。

AIの記事を読むと、「LLM」「コンテキスト」「RAG」などの言葉が続けて出てきます。

このページは、AIを学び始めた人のための入門記事です。難しい仕組みを暗記するのではなく、似た言葉の違いとつながりを、身近な例から整理します。

まずは3つだけ覚えよう

  • 生成AIは、文章や画像などを作るAIの一種です。
  • プロンプトは「今回の指示」、コンテキストは「回答に使える情報全体」です。
  • AIの回答は間違うことがあるため、大切な情報は元の資料で確認します。

AIと生成AIの違い

**AI(人工知能)**は、人が決めた目的に沿って予測、判断、提案などを行う技術や仕組みの総称です。

生成AIはAIの一種で、文章、画像、音声、動画、コードなど、新しい内容を作ることを得意とします。

用語 主な役割
AI 予測・分類・判断などを行う 迷惑メール判定、商品推薦
生成AI 新しい内容を作る 文章作成、画像生成、コード生成

生成AIはAIに含まれますが、すべてのAIが文章や画像を作るわけではありません。

AIモデルとAIサービス

AIモデルは、質問に対する答えを作る、AIの頭脳にあたる部分です。多くのデータから学んだ傾向を使って、回答を作ります。

AIサービスは、そのモデルをチャット画面、検索、ファイル管理などと組み合わせ、利用者が使える形にした製品全体です。

用語 簡単にいうと
AIモデル 回答を作る中心部分
AIサービス モデルと画面や機能を組み合わせた製品

同じモデルを使っていても、サービス側の機能や設定が違えば使い心地は変わります。

LLMとは

LLMはLarge Language Modelの略で、日本語では大規模言語モデルと呼ばれます。

大量の文章から言葉の並びや関係を学びます。そして、次に来そうな言葉を少しずつ予測しながら文章を作ります。質問への回答、要約、翻訳、文章作成、コード生成などに使われます。

LLMは自然な文章を作れますが、内容を人間と同じ方法で理解しているとは限りません。

プロンプトとコンテキスト

プロンプトは、利用者がAIへ渡す質問や指示です。

コンテキストは、AIが回答を作るときに読める情報全体です。現在の指示だけでなく、会話履歴や添付資料なども含まれます。サービスがあらかじめAIへ与えているルールや、検索で見つけた情報が含まれる場合もあります。

用語 範囲
プロンプト 今回入力した質問や指示
コンテキスト 回答時に参照できる情報全体

トークンと文字数

トークンは、AIが文章を処理するときの単位です。

1トークンが1文字とは限りません。文字、単語、単語の一部、句読点などに分かれ、分け方は言語やモデルによって異なります。

そのため「1,000文字なら必ず何トークン」とは決められません。AIサービスの利用上限やAPI料金では、文字数ではなくトークン数が基準になることがあります。

コンテキストウィンドウ

コンテキストウィンドウは、モデルが一度に扱えるトークン量の上限です。

長い会話や大量の資料を入れると上限に近づき、古い情報が参照されなくなったり、入力を短くする必要が出たりします。上限が大きくても、必要な情報を整理して渡すことは大切です。

学習と推論

用語 行っていること
学習(トレーニング) 大量の例から、答え方の傾向を身につける
推論 学習済みモデルから回答や予測を作る

普段チャットAIへ質問して返答を受け取る処理は、主に推論にあたります。

ハルシネーション

ハルシネーションは、生成AIが事実と異なる内容を、もっともらしく出力する現象です。

自然な文章だから正しいとは限りません。日付、料金、固有名詞、医療・法律・お金に関する情報などは、公式資料や信頼できる情報源で確認しましょう。

マルチモーダル

マルチモーダルは、文章だけでなく、画像、音声、動画など複数の形式を扱えることです。

画像を見て説明する、音声を文字にする、文章から画像を作るといった使い方があります。対応する入力と出力の種類はモデルごとに異なります。

RAGとは

RAGはRetrieval-Augmented Generationの略で、日本語では検索拡張生成と呼ばれます。

質問に関連する情報を文書やデータベースから検索し、その内容をLLMへ渡して回答を作る仕組みです。

RAGの流れは、次の4段階で考えると分かりやすくなります。

  1. 利用者が質問する
  2. 質問に関係する資料を探す
  3. 見つけた資料をLLMへ読ませる
  4. 資料を参考に回答を作る

通常のLLMが主に学習時の知識と入力内容を使うのに対し、RAGは外部資料を回答材料として追加できます。最新情報や社内資料を扱いやすくなりますが、検索結果や元資料が誤っていれば回答も不正確になり得ます。

まとめ

AIモデルが回答を作る中心部分で、AIサービスはそれを使いやすい製品にしたものです。プロンプトは今回の指示、コンテキストは回答に使える情報全体です。

最初からすべて覚える必要はありません。記事の中で分からない言葉が出たときは、初心者向け用語集も利用してください。

参考資料

以下は説明の確認に使った資料です。この記事を理解するために、すべて読む必要はありません。

← 記事一覧へ戻る