地平線は、近づいても決してたどり着けない線だ。大規模言語モデルの知識にも、これによく似た縁がある。事前学習に使われたテキストがある時点で途切れ、その先の世界をモデルは直接には知らない。この境界を「知識のカットオフ（knowledge cutoff）」と呼ぶ。
沈黙ではなく、古い確信
厄介なのは、カットオフがきれいな沈黙として現れないことだ。モデルは「その先は知りません」と言う代わりに、学習時点での前提を現在形で語り続ける。役職者はすでに交代しているのに旧任者の名を挙げ、更新された規格を古い版のまま説明する。読み手にとって、その情報が地平線のこちら側なのか向こう側なのかは、見ただけでは判別しにくい。
この「古い確信」の問題は、モデルが自らの無知を明示できないという、より一般的な課題と地続きだ。その点は「AIは『知らない』と言えるのか」で詳しく論じた。カットオフは、無知の境界が時間軸の上に引かれた特殊なケースだと言える。
縁を押し広げる仕組み
この地平線を動かそうとする代表的な手法が、検索拡張生成（RAG）である。モデルに外部の最新文書を参照させることで、学習時点を越えた情報を回答に取り込む。一方で、RAG は境界そのものを消し去るわけではない。参照先が誤っていれば誤りを引き継ぐし、検索された断片をモデルがどう解釈するかは、依然として事前学習で培った偏りに左右される。
もっとも、RAG が知識のあり方を根本から変えたという見方もある。記憶する知能から検索する知能へ——この転換が境界線をどう動かしたかは、「検索する知能と記憶する知能」で比較的に検討したい。
地平線と付き合う
「Stochastic Parrots」の論文が警告したように、巨大なモデルは訓練データの形式を巧みに再現するが、その内容が世界の現在とどれだけ一致しているかは別の問題だ。カットオフは、この乖離が時間とともに広がっていく仕組みでもある。モデルは静止した過去の一断面を、あたかも動き続ける現在であるかのように提示する。
裏を返せば、利用者に求められるのは、答えが地平線のどちら側から来たのかを問う習慣である。日付を確かめ、一次情報にあたり、モデルの語りを「ある時点のスナップショット」として読む。知識のカットオフは技術的な制約であると同時に、私たちの読み方を試す境界線でもある。
参照した資料：Bender・Gebru ほか「On the Dangers of Stochastic Parrots」（FAccT, 2021）／ Lewis ほか「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」（NeurIPS, 2020）。
