試験の点数は、受験者がその問題を初めて解いたという前提で意味を持つ。答案を事前に見ていたなら、満点は実力の証明にならない。AIの能力評価にも、これとまったく同じ落とし穴がある。ベンチマーク汚染（benchmark contamination）と呼ばれる問題だ。
汚染とは何か
大規模言語モデルは、ウェブ上の膨大なテキストを学習する。ところが、そのウェブには、モデルの性能を測るための評価用問題とその解答も含まれている。テストの問題集がそのまま教科書に紛れ込んでいる状態だ。こうなると、モデルが高得点を取っても、それが未知の問題を解く力なのか、単に学習時に見た答えを思い出しているだけなのか、区別がつかなくなる。
なぜ排除しきれないのか
「評価用データを学習から除けばよい」と思えるかもしれない。だが、これが難しい。学習データはあまりに巨大で、そこに何が含まれているかを完全に把握することは事実上不可能に近い。評価問題が言い換えられて紛れ込んでいたり、断片的に散らばっていたりすれば、機械的な照合をすり抜ける。学習データの中身を記述しきれないという課題は、ドキュメント化という抵抗で論じるデータ透明性の問題と直結している。
ただし、汚染は常に意図的な不正を意味するわけではない。多くは、ウェブ規模のデータ収集に付随する構造的な副作用だ。それでも、結果として「解けた」の意味が空洞化する点では変わらない。
スコアの読み方
一方で、この問題はベンチマークそのものを無意味にするわけではない。汚染の可能性を前提に、新しく作られた問題や非公開の評価セットで測り直す、複数の指標を組み合わせる、といった対策が講じられている。重要なのは、単一の高スコアを能力の全体像と取り違えないことだ。
もっとも、汚染が疑われる評価は、モデルの「推論」を測っているつもりで「記憶」を測ってしまう。真に未知の状況で筋道を立てられるかどうかは、別の設計の評価が要る。この推論と記憶の切り分けは、思考の連鎖は思考なのかで扱うテーマにもつながる。
裏を返せば、ベンチマークのスコアは「その問題が本当に新しかったか」という問いとセットでなければ読めない。数字だけを見て順位を語るのは、答案を見ていた受験者を賞賛するのに似ている。評価の健全さは、測る対象の清潔さに支えられている。
参照した資料：Bender・Gebru ほか「On the Dangers of Stochastic Parrots」（FAccT, 2021）／ Gebru ほか「Datasheets for Datasets」（Communications of the ACM, 2021）。
