線形入力から階層構造へ：言語学習における統計的手がかりとしての機能語

TL;DR（結論）

人間が単語の並びという線形な情報から複雑な階層的文法構造をいかに習得するかという問いに対し、本研究は機能語（冠詞や助詞など）の統計的性質に着目して解明を試みました。世界１８６言語の解析により、機能語が「高頻度」「特定の構造との強い結びつき」「句の境界への配置」という三つの性質を共通して持つことを明らかにし、これらが言語習得の普遍的な手がかりであることを示しました。ニューラルモデルを用いた反実仮想的な実験の結果、特に語彙頻度と構造的関連性が階層構造の学習に不可欠であり、これらが欠けると学習効率が著しく低下することが判明しました。

なぜこの問題か

言語学および認知科学における中心的な課題の一つは、人間が耳にする「単語が順番に並んだだけの線形な情報」から、いかにして「入れ子構造のような目に見えない階層的な文法」を抽出できるのかという点にあります。これまでの統計的学習の研究では、隣接する単語間の遷移確率や音声的な区切り（プロソディ）が手がかりになると議論されてきましたが、その中でも特に冠詞、助動詞、前置詞といった「機能語」の役割が極めて重要視されてきました。機能語には、学習を強力に支援すると考えられる三つの主要な統計的特徴があります。第一に、語彙全体の中で出現頻度が非常に高いことです。第二に、特定の構文構造と非常に高い信頼性で結びついていることです。第三に、句の境界という体系的な位置に出現することです。これらの性質により、機能語は複雑な文の流れの中で解析の基準となる「錨（アンカー）」や「標識（マーカー）」として機能し、学習者が特定の配列を際立たせて処理するのを助けていると推測されてきました。しかし、従来の知見には二つの大きな課題が残されていました。…

核心：何を提案したのか

本研究は、機能語の統計的分布が階層構造の学習をどのように支えているのかを解明するために、三つの多角的なアプローチを提案しました。まず第一に、世界１８６言語を網羅する「Universal Dependencies（UD）」プロジェクトのコーパスを最大限に活用し、機能語が持つとされる「高頻度」「構造的関連性」「境界配置」という三つの統計的性質が、言語の種類を問わず共通して存在する普遍的な特徴であるかどうかを大規模に調査しました。これにより、特定の言語構造に依存しない、人間と言語モデルの双方に共通する学習の基盤を特定しようと試みました。第二に、トランスフォーマー（Transformer）モデルを「特定の言語的バイアスが弱い汎用的な学習者」と見なし、自然言語のテキストを体系的に改変した「反実仮想コーパス」を用いた大規模な学習実験を提案しました。…

続きはログイン/プランで閲覧できます。