手続き型事前学習：抽象データによる言語モデルのウォーミングアップ

要約

ウェブ規模のコーパスでの直接的な事前学習に代わる手法として、抽象的な構造化データを用いた初期学習の効果を検証した研究である。形式言語などで生成された「手続き型データ」をわずか0.1%先行学習させるだけで、自然言語やコードの学習効率が大幅に向上し、同じ損失値に到達するために必要なデータ量を最大45%削減できることが示された。

全文は有料プランで閲覧できます。