大規模言語モデルのための時間的ガイダンス：TeGu

要約

大規模言語モデルの生成品質を向上させる対照的デコーディング（CD）は、通常、追加の計算コストを伴う。本研究では、モデルが局所的な選好を示すことに着目し、時間軸に沿った新しい対照的ガイダンス戦略「TeGu」を提案する。TeGuはマルチトークン予測（MTP）を活用して自己対照を行い、軽量なcMTPPを用いることで、低い計算負荷で大幅な性能向上を実現した。

全文は有料プランで閲覧できます。