【育つAI入門】第2回：LLM・RAG・CAGとは？AI技術の基礎を解説〜技術選定の前に考えるべき「設計」と「構造」の話〜

GXO株式会社、代表の藤吉です。

前回の記事では、多くの企業がAI導入で直面する「3つの壁」についてお伝えしました。今回は少し技術的な話になりますが、例え話を使って分かりやすく説明していきます。

LLM（大規模言語モデル）：博学だが記憶しない「百科事典」

LLMとは？

ChatGPT、Claude、Geminiなどの　ことです。インターネット上の膨大な文章を読んで学習した、いわば「超優秀な百科事典」です。

世界一の図書館に例えると

LLMを、世界中のあらゆる本が揃っている図書館だと思ってください。

あなた「日本の首都は？」→ 図書館「東京です」✓ 答えられる

あなた「量子力学とは？」→ 図書館「素粒子の振る舞いを…」✓ 答えられる

あなた「うちの会社の主力製品は？」→ 図書館「すみません、それは蔵書にありません」✗ 答えられない

あなた「さっき教えた、うちの製品の話なんだけど」→ 図書館「さっき？何のことですか？」✗ 忘れている

LLMの特徴まとめ

できること

一般的な知識の質問に答える、文章を書く・要約する、プログラムコードを書く、翻訳する

できないこと

あなたの会社のことを知っている、今日教えたことを明日覚えている、使えば使うほど賢くなる

コンテキスト（文脈窓）：広いが消える「ホワイトボード」

コンテキスト（文脈窓）：広いが消える「ホワイトボード」

コンテキストとは、LLMが一度に見ることができる情報の範囲のことです。

会議室の大きなホワイトボードをイメージしてください。会議中は、話した内容をホワイトボードに書き出しながら進めるので、「さっきの続きだけど」と言われても、ボードを見ればすぐに文脈がわかります。しかし会議が終われば、ホワイトボードは消されます。翌日「昨日の続きで…」と言っても、もう何も残っていません。

これがコンテキストの特性です。会話の流れを理解しながら、資料を参照して回答できる一方で、ブラウザを閉じると消えてしまう、長い会話では古い情報から消えていく、次回また最初から説明が必要になる、という限界があります。

実際の業務では、こんな困りごとが起きます。月曜日に30分かけて「うちの承認フローは、まず課長に報告して、金額が50万円以上なら部長、100万円以上なら役員会で…」と説明し、AIも「理解しました」と答える。しかし金曜日に「月曜に教えた承認フローで処理して」と頼むと、「すみません、それは記憶にありません」。結局、また30分かけて同じ説明をすることになります。

RAG（検索拡張生成）：便利だが限界ある「図書館司書」

RAGとは？

RAGとは、社内の資料を検索して、それをもとに回答する仕組みです。

図書館の司書さんをイメージしてください。「A製品の不良対策を教えて」と尋ねると、司書さんは書庫に行って関連する本を探し、「この3冊が関連してそうです」と品質管理マニュアル、A製品仕様書、過去のトラブル事例集を持ってきてくれる。AIはその3冊を読んで回答を生成します。

RAGは大きな進歩でした。従来のLLMだけでは社内情報にアクセスできませんでしたが、RAGによってそれが可能になったのです。しかし、RAGにも限界があります。

RAGの限界1：検索が下手だと答えられない

「A製品の不良率が上がってる。対策は？」と質問すると、RAGは「A製品」「不良率」「対策」といったキーワードで検索し、一般的な品質管理マニュアルやA製品の基本仕様書を見つけます。

しかし、3ヶ月前にまさに同じ症状で「湿度管理が原因」と判明したトラブル報告書は検索されません。なぜなら、質問に「湿度」という言葉が含まれていないからです。

これは「言葉通りにしか探せない司書さん」のようなもの。「美味しいイタリアンの本ない？」と聞くと、タイトルに「イタリアン」がある本だけ探して、「イタリア料理」「パスタ」「ピザ」というタイトルの本は見つけてくれない。本当に求めていた情報にたどり着けないのです。

RAGの限界2：パターンを学習しない

過去1年間、同じような不良が10回発生し、すべて湿度が原因だったとします。しかしRAGは、毎回同じ文書を検索して見せるだけ。「90%の確率で湿度が原因です」とは言えません。

理想は「過去10回の類似ケースを分析すると、すべて湿度が原因でした。今回も湿度をチェックすべきです」という回答ですが、RAGにはこれが難しいのです。

1月に「頭痛の対処法の本ある？」と聞いて医学書を渡され、「これじゃなくて、家庭でできる方法」と言ったら家庭医学書を渡してくれた。でも3月に同じ質問をすると、また医学書から渡される。RAGは「検索して持ってくる」ことはできますが、過去のやり取りから学ぶことはできないのです。

なぜ「LLM / RAG / CAGを選ぶだけ」のAI導入は失敗するのか

ここまでLLM・RAG・CAGの特徴を整理してきましたが、重要なのは「どれを選ぶか」ではありません。

多くのAI導入プロジェクトが失敗する理由は、業務フローやデータ構造、既存システムが整理されないまま、AIを“後付け”してしまう点にあります。

特にレガシーな基幹システムや、ブラックボックス化した業務プロセスが残っている場合、どれだけ優れたAI技術を選んでも、期待した成果は出ません。

AIは魔法の道具ではなく、設計された業務・システムの上に載せて初めて価値を発揮します。

その前提を無視した技術選定は、PoC止まりや現場不信につながりやすいのです。

CAG（コンテキスト拡張生成）：賢い「秘書」

CAGとは？

RAGの進化版です。単純に検索するだけでなく、状況に応じて情報を整理・最適化します。

RAGとCAGの違いを例えると

RAGは「図書館の司書さん」のような存在です。
「明日の会議の準備して」と頼むと、会議に関連しそうな資料を片っ端から持ってきてくれます。ただし、段ボール5箱分。「多すぎて、どれを見ればいいかわからない…」となりがちです。

一方、CAGは「優秀な秘書さん」のような存在です。
同じように「明日の会議の準備して」と頼むと、秘書さんは頭の中で考えます。明日は営業会議で参加者は5名、いつも売上データと競合分析を確認している。前回の議事録も必要だろう。重要度順に並べておこう。そして渡されるのは、必要な資料だけが見やすく整理された状態。「完璧！」となるわけです。

CAGの賢いところ

1. 情報を選別する

質問者が誰か、過去にどんな質問をしていたかを理解し、必要な情報を判断して重要度順に整理します。

2. 複数の情報源を統合する

販売管理システム、在庫管理システム、営業日報、外部の経済指標など複数のシステムから情報を集め、矛盾をチェックし、統合して分析します。

3. 会話の文脈を理解する

「今月の売上は？」「先月は？」「じゃあ来月の目標は？」「それ、達成できそう？」という会話で、CAGは一貫して「売上」の文脈を理解し、適切に回答します。

RAGとCAGの違いまとめ

情報の取得：RAGは検索のみ、CAGは検索＋選別

複数情報源の統合：RAGは苦手、CAGは得意

文脈の理解：RAGは基本的、CAGは高度

情報の優先順位付け：RAGはなし、CAGはあり

例えると、RAGは「言われたことだけやる司書」、CAGは「状況を読む優秀な秘書」です。

従来技術の組み合わせでも超えられない壁

現在の企業向けAIアシスタントは、LLM + RAG + CAG + コンテキストという構成が最先端です。しかし、これだけでは解決できない根本的な問題があります。

問題：経験が蓄積されない

RPGゲーム（ロールプレイングゲーム）を想像してください。普通のRPGなら、1日目にスライムを倒してレベル2に、2日目にゴブリンを倒してレベル5に、3日目にドラゴンを倒してレベル20に成長します。

しかし従来AIのRPGは、1日目にスライムを倒してレベル2になっても、セーブ機能がないので2日目はまたレベル1から。毎日リセットされるのです。従来のAI（LLM + RAG + CAG）は、この「毎日リセットされるRPG」と同じです。

1月に「A製品の不良率が上がってる」と相談し、調査して湿度が原因だと分かり、対策して解決した。でも3月にまた同じ症状が出ると、AIは「過去事例を調査中…一般的な原因は…」とまた同じ汎用的な回答。「いや、前回も湿度だったじゃん！なんで学習してないの！？」となります。

まとめ

今回の記事では、AI技術の基礎について解説しました。

• LLM：博学だが、あなたの会社のことを知らない「百科事典」

• コンテキスト：その場では覚えているが、会話が終わると消える「ホワイトボード」

• RAG：社内資料を検索できるが、経験から学ばない「図書館司書」

• CAG：情報を整理・統合できる「優秀な秘書」。でも経験は蓄積されない

ここまで読んで、こう思いませんでしたか？「AIが人間みたいに、経験から学習してくれたらいいのに…」

まさにそれを実現するのが、次回紹介する「Nested Learning（入れ子学習）」です。使えば使うほど賢くなる「育つAI」の仕組みを、詳しく解説します。

【無料相談受付中】

「RAGを導入したけど精度が出ない…」「もっと賢いAIが欲しい…」とお悩みの方は、ぜひ30分の無料相談をご利用ください。

お問い合わせ：https://gxo.co.jp/contact