チャットボットに難問を投げかけると、多くの場合よどみなく答えが返ってくる。問題は、その答えが誤っているときでさえ、口調がまったく揺らがないことだ。人間なら「たぶん」「自信はないが」と前置きする場面で、モデルは断定を続ける。この「知らないと言えなさ」は、AIの知識の境界を考えるうえで最初に突き当たる壁である。
較正という概念
機械学習では、モデルが出力する確信度が実際の正答率とどれだけ一致しているかを「較正（calibration）」と呼ぶ。理想的には、確信度70%と示した予測は、およそ70%の頻度で当たっているべきだ。ところが対話型の言語モデルでは、確信度と正答率が乖離しやすいことが繰り返し指摘されてきた。表面的な流暢さが、内部の不確かさを覆い隠してしまうのである。
この現象を体系的に整理したのが、自然言語生成における幻覚（hallucination）を包括的に調査した Ji らのサーベイ論文「Survey of Hallucination in Natural Language Generation」だ。同論文は、モデルが入力に根拠を持たない情報を生成する類型を整理し、その原因を学習データ・訓練目的・復号方法の各段階にわたって分析している。幻覚は単なるバグではなく、確率的に次の語を選ぶという仕組みそのものに根ざした構造的な課題だという見立てだ。
「もっともらしさ」が優先される理由
言語モデルは、大量のテキストから「次に来る語」を予測するよう訓練される。この目的関数は、事実の真偽ではなく、文としての自然さを最大化する。結果として、モデルは真偽が不確かな領域でも、統計的にありそうな語の連なりを生成してしまう。もっともらしさと正しさが分離するこの構造については、「もっともらしさという罠」でより詳しく扱う。
ただし、近年は不確実性をモデルに表明させる試みも進んでいる。出力に確信度スコアを添えたり、複数回サンプリングして回答のばらつきを測ったりする手法だ。一方で、こうした確信度表現もまた学習の産物であり、「自信がなさそうに振る舞う」ことと「本当に無知を認識している」ことは同じではない、という批判も根強い。
無知を示せる設計へ
もっとも、実務の観点からは、モデルが内部で何を「理解」しているかという哲学的な問いよりも、誤答時に誤答だと示せるかどうかのほうが切実だ。医療や法律のように誤りが重大な帰結を招く領域では、「わかりません」と答えられることは、正答率と同じ重みを持つ安全機能になる。
裏を返せば、断定的な誤答を減らすには、モデルの知識が「どこで途切れているか」を可視化する必要がある。その境界は、学習データが更新を止めた時点——いわゆる知識のカットオフ——によっても引かれる。この地平線については「知識のカットオフという地平線」で論じたい。AIが自らの無知を語れるようになることは、より賢くなることとは別の、しかし同じくらい重要な課題として残されている。
参照した資料：Ji ほか「Survey of Hallucination in Natural Language Generation」（ACM Computing Surveys, 2023）／ Bender・Gebru ほか「On the Dangers of Stochastic Parrots」（FAccT, 2021）。
