言語モデルにおける連続トークン表現のための分離可能なアーキテクチャ

要約

従来の小規模言語モデルでは、埋め込み行列がパラメータの多くを占有し、効率が低下するという課題がありました。本研究では、離散的なルックアップテーブルを連続的な埋め込み生成器に置き換える新アーキテクチャ「Leviathan」を提案します。評価の結果、同等のパラメータ数で標準的なモデルを凌駕し、最大2.11倍の有効パラメータ容量を持つことが示されました。

全文は有料プランで閲覧できます。