言語モデルは「人類の知識を学習した」と語られることがある。だが、その知識はウェブ上に文字として記録された分だけだ。そして、どの言語がどれだけ記録されているかは、話者数とは必ずしも比例しない。ここに、データの死角の典型が現れる。
偏在する言語資源
世界には数千の言語があるが、機械学習に使える規模のデジタルテキストを持つ言語はごく一部にすぎない。Joshi らの論文「The State and Fate of Linguistic Diversity and Inclusion in the NLP World」は、自然言語処理の研究資源が少数の言語に著しく偏っている実態を分類し、多くの言語が「見過ごされてきた」領域に置かれていることを示した。話者が数千万規模でも、デジタル資源が乏しければ、モデルにとっては事実上「薄い」言語になる。
薄いデータが生むもの
データが乏しい言語では、いくつかの問題が連鎖する。語彙や文法の再現精度が落ち、専門的な話題への対応が弱くなり、翻訳を経由した不自然な言い回しが増える。さらに、その言語圏に固有の文脈——地域の制度、慣習、固有名詞——が抜け落ちやすい。モデルは沈黙するのではなく、乏しい手がかりから「それらしい」出力を埋めてしまう。この埋め合わせは、もっともらしさという罠と同じ構造を持つ。
ただし、状況が一様に悪いわけではない。多言語モデルでは、資源の豊富な言語で得た表現が、近縁の低リソース言語へ転移する現象も観察される。一方で、この転移は言語間の距離に左右され、系統的に遠い言語ほど恩恵を受けにくい。恩恵の分布そのものが、また新たな偏りを描く。
「世界を学んだ」の内実
もっとも、問題はデータ量だけではない。誰がテキストを書き、何が記録に値するとみなされてきたか——その歴史的な選別が、そのままデータに刻まれる。この点は「データに刻まれた偏り」で掘り下げる。低リソース言語の沈黙は、単なる技術的な穴ではなく、記録の非対称性の反映でもある。
裏を返せば、「モデルは世界を学んだ」という言い方は、正確には「よく記録された世界を学んだ」に近い。記録から漏れた言語や文化について、モデルの知識は薄く、時に的外れになる。その空白地帯がどこに広がっているかを意識することは、モデルの出力を過信しないための第一歩だろう。関連する論点はナレッジマップにも整理している。
参照した資料：Joshi ほか「The State and Fate of Linguistic Diversity and Inclusion in the NLP World」（ACL, 2020）／ Bender・Gebru ほか「On the Dangers of Stochastic Parrots」（FAccT, 2021）。
