CoFrGeNet: 連分数に着想を得た新しい言語生成アーキテクチャ

要約

本研究では、連分数に着想を得た新しい生成モデリング用関数クラス「CoFrGeNets」を提案しています。これはTransformerの主要コンポーネントをより少ないパラメータで代替可能なアーキテクチャです。GPT2-xlやLlama3を用いた実験では、パラメータ数を大幅に削減しつつ、下流タスクで同等以上の性能を示しました。

全文は有料プランで閲覧できます。