エントロピーに基づく拡散モデルの次元フリー収束と損失適応型スケジュール
TL;DR拡散モデルの収束解析において、ターゲット分布の幾何学的仮定を置かずに、シャノンエントロピーを用いた次元フリーな新しいアプローチを提案した研究である。ターゲット分布と生成分布間のKLダイバージェンスを評価し、学習損失のみを利用する軽量な「損失適応型スケジュール（LAS）」
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
LoRIF: 大規模モデルの学習データ属性特定を効率化する低ランク影響関数
TL;DR学習データ属性特定（TDA）におけるスケーラビリティの課題を解決する手法「LoRIF」が提案された。勾配の低ランク構造を活用し、保存容量と計算コストを大幅に削減しつつ、従来手法と同等以上の精度を実現した。これにより、数千万件のデータで学習された700億パラメータ規模のモデルでも実用的なTDAが可能になる。
タスクシフト下におけるベルマンアライメントを用いた楽観的転移学習
TL;DR本研究は、関連するソースタスクの経験を利用するオンライン転移強化学習において、ベルマン回帰ターゲットに基づく新しい転移手法を提案する。従来の報酬や遷移に基づく類似性定義の限界を克服するため、1ステップのベルマンアライメントを導入し、RWTという補正手法を開発した。
コードの複雑さとLLMの推論能力：データ中心のアプローチによる分析
TL;DR大規模言語モデル（LLM）の推論能力向上におけるコード学習の影響を調査した研究である。コードを一般的な学習信号として扱うのではなく、その構造的複雑さに着目し、制御フローや構成構造が推論能力に与える影響を分析した。
スコアベース生成モデルにおける忘却と安定性に関する定量的解析
TL;DR本研究は、スコアベース生成モデルのサンプリング誤差に関する定量的境界を、逆時間ダイナミクスに関連するマルコフ連鎖の安定性と忘却特性を利用して導出しました。弱い仮定の下で、初期化および離散化誤差の伝播を制御するためのリアプノフドリフト条件とドブリン型マイナー化条件という2つの構造的特性を提示しています。
MoHETS: 異種混合エキスパートを用いた長期時系列予測
TL;DRMoHETSは、長期時系列予測のための新しいエンコーダのみのTransformerモデルである。従来の同質的なMLPエキスパートではなく、畳み込みとフーリエベースの異種エキスパートを組み合わせることで、複雑な時間的ダイナミクスを捉える。7つのベンチマークで平均MSEを12%削減し、最先端の性能を達成した。
LEMUR: 学習ベースのマルチベクトル検索フレームワーク
TL;DRColBERTのようなマルチベクトル表現は検索品質が高い一方で、遅延が大きいという課題がある。本研究では、マルチベクトル類似検索を教師あり学習問題として定式化し、さらに潜在空間でのシングルベクトル検索に還元するフレームワーク「LEMUR」を提案する。これにより、従来の手法よりも一桁高速な検索を実現した。
視覚的分離拡散オートエンコーダ：基盤モデルのためのスケーラブルな反事実生成
TL;DR基盤モデルが抱える偽の相関関係や「賢馬ハンス」現象への脆弱性を克服するため、Visual Disentangled Diffusion Autoencoders (DiDAE) という新手法が提案されました。これは凍結された基盤モデルと分離表現学習を統合し、勾配計算なしで効率的に多様な反事実データを生成します。
テスト時計算量の市場メカニズム：LLMサービスの社会的非効率性とオークションによる解決策
TL;DR大規模言語モデル（LLM）の推論能力向上に有効な「テスト時計算量」の増加は、クラウドプロバイダーの利益を優先し、ユーザーコストを増大させる社会的非効率を生んでいる。本研究はこの問題を解決するため、プロバイダーが入札を行う逆第二価格オークションメカニズムを提案し、LlamaやQwenなどを用いた実験でその有効性を検証した。
幾何学的潜在部分空間を用いた離散データの生成モデリング
TL;DRカテゴリ分布の積多様体の指数パラメータ空間において、潜在部分空間を利用した離散データの生成モデル学習手法を提案する。低次元の潜在空間が統計的依存関係をエンコードし、冗長な自由度を削除する。リーマン幾何学を導入することで、測地線が直線となり、フローマッチングによる学習が効率化される。
保存済みの記事がまだありません。
読み込み中…