深層再帰的アテンション混合：潜在的推論に、それに値するアテンションを

要約

深度再帰はパラメータ共有により潜在的な推論を促進するが、隠れ層サイズの制約が課題であった。本研究は、シーケンス、深度、スパースな専門家アテンションを組み合わせた「Dreamer」を提案する。これにより、従来のSOTAモデルと比較して2〜8倍少ない学習トークン数で同等の精度を達成し、高い専門家選択の多様性を実現した。

全文は有料プランで閲覧できます。