Procedural Pretraining: 抽象データによる言語モデルのウォーミングアップ

要約

ウェブ規模のデータで学習する前に、形式言語などの抽象的な手続き型データで事前学習を行う手法を提案します。この手法により、文脈想起の精度が大幅に向上し、標準的なデータセットでの学習効率も改善されます。わずか0.1%の抽象データを導入するだけで、従来の55%から86%のデータ量で同等の性能に到達することが示されました。

全文は有料プランで閲覧できます。