FBS: Transformer内部におけるネイティブな並列読解のモデリング

要約

大規模言語モデルの逐次的な推論を改善するため、人間の読解プロセスを模倣した「Fovea-Block-Skip Transformer（FBS）」が提案されました。PAW、CH、SGという3つのモジュールを導入することで、パラメータ数を増やさずに品質と効率のトレードオフを向上させています。既存の逐次処理の限界を超え、並列的な情報処理を実現する手法です。

全文は有料プランで閲覧できます。