下流タスクのフィードバックを用いた価値ベースの事前学習

要約

少量の検証済み目標情報を用いて、基盤モデルの事前学習を制御する「V-Pretraining」という手法が提案された。この手法は、下流タスクの勾配と整合するように事前学習タスク（データ拡張など）を選択し、計算リソースを効率的に配分する。言語モデルや画像処理において、推論能力や精度の向上が確認された。

全文は有料プランで閲覧できます。