ILRR: マスク型拡散言語モデルのための推論時ステアリング手法
離散拡散言語モデル（DLM）の生成プロセスを推論時に制御するための、学習を必要としない新しいフレームワーク「反復的潜在表現洗練（ILRR）」が提案されました。この手法は、生成中のシーケンスの内部活性化状態を、単一の参照シーケンスの活性化状態と動的に位置合わせすることで、特定の属性やスタイルを効果的に転送します。
Cog AI Archive
最新の記事
ILRR: マスク型拡散言語モデルのための推論時ステアリング手法
離散拡散言語モデル（DLM）の生成を制御するため、追加の学習や微調整を一切必要とせず、単一の参照シーケンスを用いてモデル内部の活性化状態を動的に調整する「反復的潜在表現洗練（ILRR）」という新しいフレームワークが提案されました。
SWE-Spot: リポジトリ中心学習による小規模なリポジトリ専門家モデルの構築
従来のタスク中心学習では、小規模言語モデルが複雑なコードベースの推論時に十分な汎化性能を発揮できず、表面的なパターンの学習に留まるという課題がありました。 本研究は、特定のコードベースに対する垂直的な深さを優先する「リポジトリ中心学習（RCL）」を提案し、静的なコードを対話的な学習信号に変換する4つの経験ユニットを設計しました。 この手法で構築された4BパラメータのSWE-SPOTは、8倍大きなオープンモデルや商用モデルに匹敵する性能を、高いサンプル効率と低い推論コストで実現することに成功しました。
TabClustPFN：表形式データのクラスタリングのための事前適合ネットワーク
TabClustPFNは、表形式データのクラスタリングを高速かつ高精度に実行するために開発された、新しい事前適合ネットワーク（PFN）である。このモデルは、クラスタの割り当てを推論するネットワーク（PIN）とクラスタの数自体を推定するネットワーク（CIN）の2つで構成されており、事前のデータセットごとの再学習やハイパーパラメータの調整を一切必要としない。合成データを用いた大規模な事前学習により、未知のデータセットに対しても1回のフォワードパスで即座に結果を出力し、従来の古典的手法や深層学習手法を上回る性能を達成している。さらに、数値データとカテゴリデータが混在する不均一なデータ構造を自然に扱うことができ、サンプル数が1,000個程度のデータセットであれば、クラスタ数が不明な状態でもスペクトラルクラスタリングと比較して最大500倍高速に動作するという驚異的な効率性を備えている。これにより、データサイエンティストは新しいデータに対して即座に深い洞察を得ることが可能となる。
勾配最適化が不十分なとき：マルチモーダル学習のための分散的かつアンカリング的な幾何学的正則化
マルチモーダル学習において、強力な勾配最適化を行っても表現空間が特定の領域に固まる「幾何学的崩壊」やモダリティ間の不整合が生じ、特定の情報が他方を抑制するトレードオフが発生することを特定しました。
LLM4Fluid: 流体力学のための汎用的なニューラルソルバーとしてのLLM
本研究では、大規模言語モデル（LLM）を流体力学の汎用的なニューラルソルバーとして活用する「LLM4Fluid」という革新的な時空間予測フレームワークを提案しました。このシステムは、物理情報を考慮した解きほぐしメカニズムによって高次元の流場をコンパクトで直交性の高い潜在空間に圧縮し、事前学習済みLLMを時間プロセッサとして用いることで、再学習なしで未知の流動条件に対応できる高い汎用性を実現しています。さらに、テキストプロンプトを位置エンコーディングとして統合する独自のモダリティ整合戦略を導入することで、セマンティックな情報と物理データのギャップを埋め、長期的な予測における安定性と最先端の精度を達成することに成功しました。
FIT: 継続的なLLMアンラーニングにおける破滅的忘却の克服
FITは、大規模言語モデル（LLM）が連続的なデータ削除要求を受けた際に発生する「破滅的忘却」を防ぐための新しい学習フレームワークである。 この手法は、重複情報のフィルタリング、重要度に応じたアルゴリズムの適応的選択、そして影響の大きい層に限定した更新という3つの戦略を統合することで、モデルの性能維持と確実な情報消去を両立させている。 また、個人情報や著作権、有害コンテンツを網羅した評価ベンチマーク「PCH」と、消去の度合いと性能維持を統合的に測る新指標を提案し、300件もの連続的な要求に対しても既存手法を凌駕する堅牢性を実証した。
探索経験の再利用による効率的なテスト時スケーリング：Do Not Waste Your Rollouts
大規模言語モデルの推論能力を高めるテスト時スケーリングにおいて、従来の探索手法が各試行（ロールアウト）を使い捨てにしていた非効率性を指摘し、中間的な洞察を蓄積して再利用する「Recycling Search Experience（RSE）」を提案している。
XFACTORS: 対照学習を用いた情報ボトルネックによる表現の解きほぐし
XFACTORSは、変分自己符号化器（VAE）を基盤とし、対照学習と情報ボトルネックの理論を組み合わせることで、データの独立した変動要素を明示的に制御・分離する新しい弱教師あり学習フレームワークである。
予測逆ダイナミクスはいつ行動クローニングを凌駕するのか？
オフライン模倣学習において、未来の状態予測と逆ダイナミクスを組み合わせた予測逆ダイナミクスモデル（PIDM）が、従来の行動クローニング（BC）よりも高いサンプル効率を実現する理由を理論と実験の両面で解明しました。