Drive-KD: 自動運転VLMのためのマルチティーチャー知識蒸留

要約

自動運転におけるVLMの効率化を目指し、知覚・推論・計画の3要素を複数の教師モデルから小規模モデルへ継承する「Drive-KD」が提案されました。層固有のアテンション信号を利用した知識蒸留と勾配衝突を抑制する手法により、1Bモデルで78Bモデルを凌駕する性能と高い推論効率を両立することに成功しています。

全文は有料プランで閲覧できます。