オフライン好みの最適化のための潜在空間における敵対的正則化

要約

従来の言語モデルの学習ではトークン単位の正則化が主流でしたが、意味的な類似性を捉えきれない課題がありました。本研究は、モデル内部の潜在表現の乖離を抑える手法「GANPO」を提案します。GANの手法を応用して潜在空間での正則化を行うことで、ノイズや分布の変化に強く、より頑健な学習が可能になることを示しました。

全文は有料プランで閲覧できます。