よどみない文章には、独特の説得力がある。言い回しが整い、論理が滑らかに運ぶと、私たちは無意識にその内容を信じやすくなる。言語モデルの出力が厄介なのは、まさにこの「もっともらしさ」を、正しさとは無関係に量産できる点にある。
最適化されているのは何か
大規模言語モデルの中核にあるのは、「次に来る語」を予測する訓練だ。膨大なテキストの統計から、ある文脈のあとに最もありそうな語を選ぶ。この目的関数が測っているのは、文としての自然さであって、世界と照らした真偽ではない。だから、真偽の判断がつかない領域でも、モデルは統計的にありそうな——つまりもっともらしい——語の連なりを平然と生成する。
「Stochastic Parrots」の論文が用いた比喩は鋭い。巨大な言語モデルは、意味を理解せずに形式を継ぎ合わせる「確率的なオウム」のように振る舞う、というのだ。形式の再現がきわめて巧みであるがゆえに、その裏に理解があると錯覚しやすい。
流暢さと正しさの分離
この分離は、幻覚（hallucination）として最も顕著に現れる。Ji らのサーベイが整理したように、モデルは入力に根拠のない情報を、事実であるかのような口調で出力する。誤りの内容もさることながら、誤りを誤りと感じさせない語り口が問題なのだ。人間の書き手なら、確信のなさは文体ににじむ。モデルにはその「にじみ」がない。
これは、モデルが自らの無知を明示できないという課題と表裏一体だ。AIは「知らない」と言えるのかで論じたように、確信度と正答率のずれ——較正の失敗——が、流暢な誤答を後押しする。
罠を深くするもの
ただし、罠の半分は人間の側にある。私たちは、読みやすさ・整い・自信を、そのまま信頼性の指標として受け取ってしまう認知的な癖を持つ。もっともらしい文章に対して、批判的な検証の手が緩む。モデルの流暢さは、この癖につけ込む。
一方で、流暢さそのものが悪いわけではない。要約や翻訳のように、内容の正しさが入力によって担保される場面では、流暢さは純粋な長所になる。問題は、流暢さを「内容の正しさの証拠」と読み替えてしまうときだ。この読み替えは、思考しているように見える出力——たとえば段階的な推論——でいっそう起きやすい。その点は思考の連鎖は思考なのかで検討する。
裏を返せば、モデルの出力に接するときに必要なのは、流暢さと正しさを意識的に切り離す訓練である。滑らかさに引きずられず、主張の根拠を別途たしかめる。もっともらしさは、正しさの入り口ではなく、検証を始める合図として扱うべきなのだろう。
参照した資料：Bender・Gebru ほか「On the Dangers of Stochastic Parrots」（FAccT, 2021）／ Ji ほか「Survey of Hallucination in Natural Language Generation」（ACM Computing Surveys, 2023）。
