社内検索とRAG：情報源の明示が信頼性を分ける

社内文書を対象とした検索拡張生成、いわゆる RAG は、この数年で実務への導入が急速に進んだ。背景には、言語モデルが持つ流暢な生成能力を、組織固有の知識に結びつけたいという要求がある。本稿では、RAG を単なる検索の高度化としてではなく、情報源の明示という観点から捉え直す。

RAG が解こうとした問題

Lewis らは論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」(arXiv:2005.11401, 2020) で、外部知識の検索と生成を組み合わせる枠組みを提示した。狙いは、モデルの内部パラメータだけに知識を閉じ込めるのではなく、参照可能な文書集合から関連情報を引き出して回答に反映させることである。これにより、モデルの学習時点以降の情報や、組織内部にしか存在しない知識も扱えるようになる。

この生成の基盤となった Transformer 構造は、Vaswani らの「Attention Is All You Need」(arXiv:1706.03762, 2017) に遡る。注意機構が文脈を捉える能力は高いが、それゆえに検索された文書の内容を、あたかも確立した事実のように滑らかに提示してしまう。この滑らかさが、後述する信頼性の課題を生む。

情報源の明示が信頼性を分ける

RAG の実務的な価値は、生成の品質そのものよりも、回答がどの文書に基づいているかを示せる点にある。利用者が根拠となった原文へ遡れれば、回答の妥当性を自分で検証できる。逆に、出典を示さない RAG は、従来のキーワード検索よりも危険になりうる。検索結果の一覧であれば利用者は複数の候補を比較するが、単一の流暢な回答は検証の意欲そのものを削いでしまうためである。

この課題は、ナレッジベース設計で論じた情報源の追跡可能性と地続きである。検索対象となる文書自体が古かったり所有者が不明だったりすれば、RAG はその欠陥を流暢な文章で覆い隠すことになる。

導入時に問うべきこと

RAG の導入を検討する際には、精度の指標だけでなく、次の点を確認しておく価値がある。

• 回答に対して、根拠となった文書へのリンクや引用が提示されるか。
• 検索対象の文書集合について、更新と所有権の管理がなされているか。
• 該当する情報が存在しない場合に、モデルが「分からない」と応答できるか。

ただし、出典の明示は万能の解決策ではない。示された文書が正しく引用されていても、その文書自体が誤っていれば回答も誤る。一方で、検索が適切な文書を取り逃す場合には、モデルが内部知識で穴を埋めようとし、根拠のない生成が混入する。この失敗の様態についてはRAGの限界とハルシネーション対策で扱う。

検索の高度化を超えて

RAG を「賢い検索」として捉えると、その本質を見誤る。この技術が組織に問いかけているのは、自社の知識をどれだけ追跡可能な形で管理できているか、という運用上の成熟度である。生成の流暢さは、根拠の透明性が伴って初めて価値を持つ。情報源を示せない回答は、速いだけの推測にすぎない。