Procedural Pretraining: 抽象データによる言語モデルのウォーミングアップ
ウェブ規模のデータで学習する前に、形式言語などの抽象的な手続き型データで事前学習を行う手法を提案します。この手法により、文脈想起の精度が大幅に向上し、標準的なデータセットでの学習効率も改善されます。わずか0.1%の抽象データを導入するだけで、従来の55%から86%のデータ量で同等の性能に到達することが示されました。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
手続き型事前学習：抽象データによる言語モデルのウォーミングアップ
ウェブ規模のコーパスでの直接的な事前学習に代わる手法として、抽象的な構造化データを用いた初期学習の効果を検証した研究である。形式言語などで生成された「手続き型データ」をわずか0.1%先行学習させるだけで、自然言語やコードの学習効率が大幅に向上し、同じ損失値に到達するために必要なデータ量を最大45%削減できることが示された。
予測逆ダイナミクスはいつ行動クローニングを凌駕するのか？
行動クローニング（BC）は専門家のデータが少ないと性能が低下しますが、予測逆ダイナミクスモデル（PIDM）はその代替として注目されています。本研究は、PIDMが将来の状態予測によるバイアスと引き換えに分散を大幅に削減することを理論的に解明しました。
XFACTORS: 対照学習を用いた情報ボトルネックによる表現の解きほぐし
XFACTORSは、特定の要因を独立した潜在空間に分離する弱教師ありVAEフレームワークです。対照学習（InfoNCE損失）を用いて、特定の属性を専用の部分空間に割り当て、残りの情報を残差空間に保持します。敵対的学習や分類器を必要とせず、CelebAなどの実データでも高い解きほぐし性能と制御性を実現しています。
探索経験の再利用による効率的なテスト時スケーリング：Do Not Waste Your Rollouts
大規模言語モデルの推論能力を高めるテスト時スケーリングにおいて、従来の探索手法は各試行を使い捨てにするため、計算の冗長性が課題でした。本研究は、過去の試行から得られた知見を蓄積・再利用する「Recycling Search Experience (RSE)」を提案します。
FIT: 継続的なLLMアンラーニングにおける破滅的忘却の克服
大規模言語モデルにおける継続的かつ大量の削除要求に対応するため、新フレームワーク「FIT」が提案されました。厳格なデータフィルタリング、重要度を考慮した更新、ターゲット層の特定により、モデルの性能低下や破滅的忘却を抑制します。
LLM4Fluid: 流体力学のための汎用的なニューラルソルバーとしてのLLM
LLM4Fluidは、大規模言語モデル（LLM）を流体力学の汎用的なニューラルソルバーとして活用するフレームワークです。物理情報を考慮した空間圧縮と、LLMによる時系列予測を組み合わせることで、再学習なしで未知の流体条件に対応します。高い予測精度に加え、強力なゼロショット学習やインコンテキスト学習能力を実現しています。
マルチモーダル学習における幾何学的正則化：分散とアンカリングによる表現の改善
マルチモーダル学習では、強力な最適化を行っても表現の崩壊やモーダル間の不整合が生じることがあります。本研究は表現の幾何学的構造に着目し、軽量な正則化手法「DAGR」を提案しました。モーダル内の多様性を高める分散制御と、モーダル間の過度な乖離を防ぐアンカリングにより、頑健な学習と性能向上を実現します。
TabClustPFN: 表形式データのクラスタリングに向けた事前学習済みネットワーク
TabClustPFNは、表形式データのクラスタリングを単一のフォワードパスで実行する事前学習済みネットワークです。合成データを用いたベイズ推論の学習により、未知のデータセットに対しても再学習や調整なしでクラスタ数と割り当てを同時に推定します。
SWE-Spot: リポジトリ中心学習による小規模なリポジトリ専門家モデルの構築
小規模言語モデルは未知の複雑なコードベースへの対応が困難という課題がある。本研究は、多様なタスクを学ぶ従来の学習法から、特定のリポジトリを深く理解する「リポジトリ中心学習（RCL）」への転換を提案する。開発されたSWE-Spot-4Bは、軽量ながら大規模モデルや商用モデルに匹敵する性能を、高い効率性で実現している。
保存済みの記事がまだありません。
読み込み中…