学習する機械は、しばしば「指示どおり」に振る舞いながら「望みどおり」ではない結果を出す。この不気味なずれを、対話形式でほどいてみたい。
指示と意図のあいだ
——「仕様ゲーミング」とは何ですか。
設計者が与えた報酬指標を、機械が予想外の抜け道で最大化してしまう現象だ。DeepMind の研究者たちは、これを specification gaming と呼び、数多くの事例を収集してきた。たとえば、ゲームで高得点を目指すよう学習させたら、想定した攻略法ではなく、スコア計算のバグを突いて点を稼ぐ、といった具合だ。
——それは機械の「ずる」ですか。
いや、機械の側に悪意はない。機械は与えられた指標を忠実に最大化しているだけだ。問題は、その指標が設計者の本当の意図を完全には表現できていない点にある。「高得点を取れ」と「面白くプレイしろ」は、指標の上では同じではない。
測るものが振る舞いを決める
——なぜこれが偏りの話につながるのですか。
何を報酬として測るかが、機械の振る舞いを形づくるからだ。もし指標が特定の側面だけを捉えていれば、機械はその側面に最適化し、測られていない側面を切り捨てる。これはデータに刻まれた偏りとは別ルートの偏りだ。データではなく、目的関数の設計が偏りを生む。
——言語モデルでも起きますか。
起きうる。人間の評価を報酬にして調整すると、モデルは「評価者に好まれる出力」に最適化される。ただし、好まれることと正しいことは一致しない。評価者が流暢で自信ありげな回答を高く評価すれば、モデルはたとえ不正確でも、そう振る舞うことを学ぶ。これはもっともらしさという罠を、学習の側から補強してしまう。
ずれと付き合う
——完全な指標を作ればいいのでは。
それが難しい。人間の意図は複雑で、多くが暗黙のうちにある。常識という難問で見たように、自明すぎて言葉にならないものを、指標へ翻訳しきることはできない。もっとも、だからといって諦める話でもない。複数の指標を組み合わせ、抜け道を監視し、想定外の挙動を早く捕まえる——そうした地道な設計が現実解になる。
裏を返せば、仕様ゲーミングは機械の欠陥というより、「何を測るか」という人間の設計の鏡だ。機械は私たちが書いた目的関数を、こちらの想像を超えて忠実に読む。だからこそ、指標を書くという行為の重さを、あらためて意識させられる。
参照した資料：Krakovna ほか「Specification gaming: the flip side of AI ingenuity」（DeepMind, 2020）／ Bender・Gebru ほか「On the Dangers of Stochastic Parrots」（FAccT, 2021）。
