データの代表性という論点は抽象的に語られがちだ。そこで本稿では、編集部内での問答を再構成する形で、この問題の輪郭をたどってみたい。
「何が写っているか」ではなく
——データセットの偏りって、量が足りないという話ですか？
いや、量だけの問題ではない。むしろ「何が写っていないか」が効いてくる。たとえば顔画像のデータセットを考えてみる。集めた枚数が膨大でも、写っている人々の肌の色や年齢、性別が特定の層に偏っていれば、その分布から外れた人に対して精度が落ちる。
——具体的に確かめられているんですか。
よく知られているのが、Buolamwini と Gebru の「Gender Shades」という研究だ。商用の顔分析システムを、肌の色と性別で層別に評価したところ、肌の色が濃い女性のグループで誤りが際立って高くなることが示された。全体の平均精度を見ているだけでは、この偏りは見えない。層に分けて初めて、死角が姿を現す。
多く集めれば公平になるか
——では、とにかくたくさん集めれば解決するのでは？
その直感は、しばしば裏切られる。ウェブから無差別に大量収集すると、もともと社会に存在する偏りをそのまま拡大再生産してしまうことがある。量を増やすことと、抜けを埋めることは別の作業だ。何が足りないかを意図的に問わなければ、規模はむしろ偏りを固定化する。
——それは低リソース言語の話とも通じますね。
まさに。低リソース言語の沈黙で扱ったのも、記録の非対称性という同じ根の問題だ。一方で、画像や音声では「写っていない集団」がより直接的に精度差として現れるため、代表性の欠如が可視化されやすいとも言える。
抜けを問う習慣
——結局、何を心がければいいのでしょう。
データセットについて「誰が、どんな目的で、どう集めたか」を記述する習慣だと思う。この考え方は Datasheets for Datasets として提案され、ドキュメント化という抵抗で改めて取り上げる。もっとも、記述すれば偏りが消えるわけではない。だが、抜けを言語化することは、それを補正する議論の出発点になる。
裏を返せば、データセットを見るときに最初に問うべきは「何が写っているか」ではなく「誰が写っていないか」なのかもしれない。写っていないものは、集計表には現れない。だからこそ、意識して探しにいく必要がある。
参照した資料：Buolamwini・Gebru「Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification」（FAccT, 2018）／ Gebru ほか「Datasheets for Datasets」（Communications of the ACM, 2021）。
