大規模言語モデルの知識には、大きく二つの宿し方がある。一つは、訓練を通じて事実や言い回しをパラメータそのものに畳み込む「記憶する知能」。もう一つは、質問のたびに外部の文書を取り出して答える「検索する知能」だ。両者を並べてみると、AIの知識の境界がどこにあるかがくっきり見えてくる。
記憶する知能の輪郭
事前学習だけで知識を保持するモデルは、応答が速く、文脈への馴染みがよい。関連する概念を横断的に結びつけ、なめらかな説明を生み出す。ただし、その知識は知識のカットオフで凍結される。新しい事実を反映するには再学習が要り、コストも時間もかかる。さらに、何を根拠にその答えを出したのかを外から検証しにくい。流暢さの裏で、出典が溶けて見えなくなっているのだ。
検索する知能の輪郭
これに対し、検索拡張生成（RAG）は外部知識ベースから関連文書を取り出し、それを踏まえて回答を組み立てる。Lewis らが提案したこの枠組みは、知識集約的なタスクで参照可能性を高める道を開いた。最新情報を取り込め、どの文書を根拠にしたかを示せる点が強みだ。
一方で、検索する知能にも死角がある。取り出す文書が的外れなら回答も外れるし、検索結果を要約する段階では、結局モデル自身の偏りが入り込む。参照先が汚染されていれば——たとえば評価用データが紛れ込んでいれば——その影響を引き受けてしまう。この種の混入は「ベンチマーク汚染という盲点」で扱う問題と通じている。
境界を補い合う
もっとも、二つの知能を対立軸として捉えるのは、やや古い見方かもしれない。実際の運用では、記憶と検索を組み合わせ、内在化した言語能力で外部知識を解釈する設計が主流になりつつある。記憶型が持つ流暢さと、検索型が持つ最新性・検証可能性は、うまく噛み合えば互いの弱点を埋める。
裏を返せば、どちらの方式を選んでも、知識の境界そのものは消えない。移動するだけだ。記憶型ではカットオフという時間の縁に、検索型では参照先の質という別の縁に、境界が引き直される。重要なのは、その境界が「いま、どこに引かれているか」を利用者が把握できることだろう。ナレッジマップでは、こうした知識のあり方を俯瞰的に整理している。
参照した資料：Lewis ほか「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」（NeurIPS, 2020）／ Ji ほか「Survey of Hallucination in Natural Language Generation」（ACM Computing Surveys, 2023）。
