「トロフィーは茶色いスーツケースに入らなかった。大きすぎたからだ」。この文で「大きすぎた」のはトロフィーか、スーツケースか。人間は一瞬で答えるが、その判断は物の大きさと収納という世界の常識に支えられている。機械にとって、この種の推論は長らく難所だった。
Winograd Schema という試金石
Levesque らが提案した Winograd Schema Challenge は、まさにこの曖昧な代名詞の解決を通じて常識推論を測る試みだった。単語を一つ入れ替えると正解が反転するように設計されており、表面的な語の共起統計では解けない。文の意味と世界の知識を結びつけて初めて答えられる——そういう難問として設計されている。
このベンチマークが浮き彫りにしたのは、常識の厄介さだ。常識は明文化されておらず、あまりに膨大で、しかも状況に応じて働く。「大きいものは小さい容れ物に入らない」といった無数の暗黙知を、どう機械に持たせるか。これは知識の境界そのものを問う課題でもある。関連して、AIは「知らない」と言えるのかで扱った自己認識の問題とも接している。
スコアの上昇が意味すること
近年の大規模言語モデルは、この種の常識推論ベンチマークで高い成績を収めるようになった。膨大なテキストから、世界についての規則性を統計的に取り込んだ結果だと考えられる。ただし、高得点をそのまま「常識の獲得」と読むには注意が要る。
一つには、評価問題が学習データに混入している可能性がある。このベンチマーク汚染があれば、スコアは推論力ではなく暗記を測ってしまう。もう一つには、統計的な当てずっぽうが偶然に的中している場合もある。整った正解の裏に、真の理解があるかどうかは別問題だ。この点は思考の連鎖は思考なのかの懸念と重なる。
難問は移動する
もっとも、あるベンチマークが「解けた」とみなされるたびに、研究者はより巧妙な問題を設計してきた。常識推論の難所は、消えるのではなく移動する。表面的なパターンでは解けない、より深い理解を要する問題へと、試金石そのものが更新されていく。
裏を返せば、常識という難問は、機械知能の到達点を測る動く標的である。高いスコアは進歩の証しであると同時に、「では次に何が測れていないのか」という問いを呼ぶ。人間には自明すぎて言葉にもならない常識が、なぜこれほど機械に難しいのか——その問い自体が、知能の輪郭を照らし続けている。
参照した資料：Levesque ほか「The Winograd Schema Challenge」（KR, 2012）／ Bender・Gebru ほか「On the Dangers of Stochastic Parrots」（FAccT, 2021）。
