結論：RAGが効かない主因は「AIの賢さ」ではなく、「社内文書」と「検索」が整っていないこと

社内データを生成AIにつなぐ RAG（検索拡張生成） は、生成AI活用の本命として注目され続けている。ところが実装は追いついていない。＠ITが2026年1月に報じたDigeonの調査（全国のビジネスパーソン517人対象）では、82.2%が「実導入していない」 と回答しており、関心の高さに対して実導入は2割に満たない。導入の障害としては技術的ノウハウの不足やセキュリティ懸念が挙げられている。「関心はあれど普及していない」——これがRAGの現状だ。

では、実際に手を動かした企業では何が起きているのか。キヤノンITソリューションズが公開しているテクニカルレポートは貴重な実例だ。同社が社内でRAGによる検索・問い合わせ対応を実践し、回答が「使えない（Bad評価）」とされたケースの原因を分析したところ、

  • 文書の不備・不足：約46%
  • 検索精度の低さ：約42%
  • 生成AI（モデル）の精度起因：約12%

という内訳だった。この事例では、失敗の約9割が“AIの賢さ”ではなく、入力側（社内文書）と検索側に起因していた ことになる。単一企業・特定用途の分析であり、そのまま全企業に当てはまる数字ではないが、「モデルを替えれば精度が上がるはず」という発想の危うさを示す結果として示唆に富む。実際、日経xTECHの報道では、東京ガスも過去に社内の人事規定に答えるRAGのPoCで回答精度が出なかった経験を振り返っており、成功企業でも最初からうまくいったわけではない。

押さえるべき1点：RAGの成否は、プロジェクト開始前の 「社内文書が、AIが読める状態に整っているか」 に大きく左右される。ここを飛ばして「とりあえずRAGをPoC」すると、精度が出ずに頓挫しやすい。

なぜPoCで止まるのか：典型的な失敗構造

失敗パターン起きていること本当の原因
「とりあえずPoC」目的・対象範囲が曖昧なまま試す何を解くか（用途）が定義されていない
回答精度が出ない検索が的外れな文書を拾う文書の構造化・メタデータ・チャンク設計の不備
古い・誤った回答更新されない文書を参照文書の鮮度・正確性の管理がない
現場が使わない出典が示されず信用されない引用・根拠提示の設計不足
セキュリティ懸念で止まる機微情報へのアクセス制御が曖昧権限設計が後回し

これらは特別な失敗ではない。準備が整わないまま走れば、どの企業でも起こり得る構造的な問題だ。

“やるべきか・どこから”の判断軸

RAGに着手する前に、次の問いに答えられるかを確認する。

  1. 用途は1つに絞れているか：「何でも答えるAI」ではなく「○○の問い合わせに答える」と特定できているか。
  2. 対象文書は棚卸しできているか：どの文書を読ませるか、それは最新・正確か、量はどれくらいか。
  3. 文書はAIが読める状態か：構造化されているか、重複・矛盾・画像埋め込みで読めない箇所はないか。
  4. 権限設計はあるか：誰がどの情報にアクセスしてよいか、RAGが越境して機微情報を返さないか。
  5. 評価の方法を決めているか：何をもって「使える」とするか、低評価の回答をどう改善ループに回すか。

これらに「No」が多いほど、RAGそのものより 前段の文書整備・要件定義 に投資すべき段階にある。逆にここが整っていれば、RAGは十分に成果を出せる。

よくある質問（FAQ）

Q. 高性能なLLMに替えれば精度は上がる？ A. 上がる余地はあるが、それだけでは解決しないことが多い。先行事例の分析では低評価の主因は文書と検索にあったと報告されており、モデル変更より文書整備・検索設計の改善が効く場面が多い。

Q. まず何から始めればいい？ A. 用途を1つに絞り、対象文書を棚卸しすること。「全社の全文書を読ませる」ではなく「特定業務の特定文書」から小さく始めるのが定石。

Q. PoCで精度が出なかった。もうRAGは無理？ A. 失敗の多くは準備不足が原因で、RAG自体の限界ではないことが多い。文書の不備・検索設計・用途定義を見直せば改善するケースは珍しくない。成功している企業にも過去の失敗経験がある。

いつGXOに相談すべきか

  • 「とりあえずRAGをやりたい」が、用途も対象文書も定まっていない
  • PoCで 精度が出ず止まっている（原因が文書か検索かモデルか切り分けられない）
  • 機微情報を扱うため、権限設計・セキュリティに不安がある

RAGは「ツールを入れれば動く」ものではなく、要件定義と文書整備が成否を大きく左右する。GXOは、用途の絞り込み、対象文書の棚卸しと構造化、検索・チャンク設計、評価と改善ループの設計までを、PoCで頓挫しない形で支援する。「やるべきか」「どこから手を付けるか」の判断から相談できる。→ RAG導入の要件定義 無料相談はこちら

関連記事

参考資料

  • ＠IT「生成AIと社内データをつなぐ『RAG』、関心はあれど普及していない現実」（2026年1月9日・Digeon調査＝全国のビジネスパーソン517人対象の紹介を含む） https://atmarkit.itmedia.co.jp/ait/articles/2601/09/news062.html
  • キヤノンITソリューションズ テクニカルレポート「RAG導入で社内検索はどう変わった？ 実践から得た学びと課題」（Bad評価の原因分析を含む） https://www.canon-its.co.jp/column/tech-report/06
  • 日経xTECH「簡単に見えて実は難しい生成AI技術『RAG』、成功企業でも過去に失敗経験」 https://xtech.nikkei.com/atcl/nxt/column/18/02993/102400001/

本記事は 2026 年 6 月 10 日時点の公開情報をもとに作成。引用した数値はいずれも各調査・各社事例の条件下での結果であり（Digeon調査は517人対象、キヤノンITSの原因内訳は同社事例の分析）、業種・用途が異なる自社にそのまま当てはまるとは限らない。判断にあたっては各出典の原文を確認すること。

PoCで頓挫しないRAG導入｜要件定義と文書整備から伴走

用途の絞り込み、対象文書の棚卸しと構造化、検索・チャンク設計、権限設計、評価と改善ループまでを設計します。「とりあえずPoC」で精度が出ずに止まる前に、成果が出る形を一緒に組み立てます。

RAG導入の無料相談を予約する

※ 営業電話はしません | オンライン対応可 | 情シス / 業務部門の同席歓迎