FineInstructions: 合成指示データを事前学習規模まで拡張する手法の提案

要約

本研究は、膨大な事前学習用ドキュメントを数十億規模の合成指示・回答ペアに変換する手法「FineInstructions」を提案します。約1,800万のテンプレートと既存の文書を組み合わせ、指示チューニング形式のみでLLMをゼロから事前学習します。これにより、従来の次単語予測よりも実際の利用環境に適した学習が可能になります。

全文は有料プランで閲覧できます。