Adamの$\beta_1 = \beta_2$設定が優れている理由：勾配スケール不変性の原理

要約

Adam最適化手法において、モーメンタムパラメータを$\beta1 = \beta2$とする設定が、検証スコアや学習の挙動を改善することが経験的に知られていました。本研究はこの現象を「勾配スケール不変性」という概念で理論的に解明しました。

全文は有料プランで閲覧できます。