知識蒸留において不確実性はどのように伝播されるのか？
知識蒸留は教師モデルの挙動を生徒モデルへ継承させる手法だが、教師の出力や生徒の初期化、推論時のサンプリングといった確率的な要素が不確実性を生み出す。本研究では、標準的な蒸留が「生徒個体間のばらつき（inter-student uncertainty）」を放置する一方で、「生徒内部の予測の多様性（intra-student uncertainty）」を過度に抑制してしまうというミスマッチを明らかにした。 この不確実性の歪みを解消するために、複数の教師出力を平均化してノイズを低減する手法と、分散に基づいた重み付けを行う「分散を考慮した蒸留（variance-aware distillation）」という2つの戦略を提案した。線形回帰、ニューラルネットワーク、大規模言語モデル（LLM）を用いた検証により、提案手法が教師モデルの不確実性をより正確に反映し、モデルの安定性を向上させることを証明した。 実験の結果、提案手法はLLMにおけるハルシネーション（幻覚）を抑制し、教師モデルが持つ本来の表現力や多様性を生徒モデルに正しく継承させる効果があることが確認された。これにより、知識蒸留を単なる精度の模倣ではなく、不確実性の適切な変換プロセスとして再定義し、医療や法律、金融といった安全性が重視される分野においても信頼性の高い小型モデルの構築が可能となる。
