自己教師あり重みテンプレートによるスケーラブルな視覚モデル初期化

要約

モデル展開時に様々なサイズのアーキテクチャが必要となる課題に対し、SWEETという自己教師あり学習フレームワークを提案。固定サイズの事前学習ではなく、共有の重みテンプレートとサイズ固有のスケーラーを学習する。これにより、分類・検出・分割・生成タスクにおいて、可変サイズのモデル初期化でSOTA性能を達成した。

全文は有料プランで閲覧できます。