最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
従来の拡散モデルは、データの構造を考慮せず無差別にノイズを付加するため、時系列の重要な季節性やトレンドが早期に破壊される課題がありました。本研究は、信号をスペクトル成分に分解し、振幅の大きさに応じて段階的にノイズを注入する「分解可能な順方向プロセス」を提案し、重要な周波数成分の信号対雑音比を高く維持することを可能にしました。この手法はモデルアグノスティックであり、DiffWaveやCSDIといった既存の多様なモデル構造を変更することなく、計算負荷をほぼ増やさずに長期予測の精度を一貫して向上させ、データの時間的構造を最後まで保持した生成を実現します。
大規模言語モデル（LLM）の評価において、別のLLMを審査員として用いる手法が普及していますが、審査員ごとの信頼性の違いを無視して一律に扱うと、ランキングに偏りが生じ、データが増えるほど誤った結論に対して過剰な自信を持ってしまうという統計的な問題があります。
離散データの生成モデルを構築するため、カテゴリ分布の積多様体における指数パラメータ空間内に低次元の潜在部分空間を導入する「幾何学的主成分分析（GPCA）」を提案した。この手法は、離散変数間の統計的依存関係を符号化しつつ冗長な自由度を排除することで、高次元データの効率的な圧縮と正確な表現を可能にする。
スコアベース生成モデル（SGM）のサンプリング過程における安定性と長期的な挙動を、逆時間ダイナミクスに関連するマルコフ連鎖の「忘却性」という観点から理論的に解明しました。具体的には、ハリスの安定性理論に基づき、リアプノフ・ドリフト条件とデブリン型のマイノリゼーション条件という2つの構造的特性を用いることで、初期化誤差や離散化誤差がサンプリングの軌道に沿ってどのように伝播するかを定量的に制限する枠組みを提案しています。この研究の結果、逆拡散ダイナミクスがサンプリング軌道に沿って収縮メカニズムを誘発することが示され、強凸性などの厳しい仮定を置かずに、非凸でマルチモーダルなデータ分布に対してもサンプリング手順の定量的な安定性を保証することが可能になりました。
大規模言語モデル（LLM）が生成したテキストを精度高く識別するため、元のテキストとその書き換え版との間の距離を適応的に学習する新手法「Learn-to-Distance」が提案されました。 幾何学的なアプローチによって、人間が書いた文章はLLMの生成空間から外れているため書き換えによる変化が大きくなるという原理を解明し、固定された指標ではなく学習可能な距離関数を用いることで検出精度を大幅に向上させています。 実験ではGPTやClaude、Geminiなどの最新モデルを含む広範な設定で検証が行われ、既存の強力な手法と比較して57.8%から80.6%の相対的な性能改善を達成し、未知のプロンプトや敵対的攻撃に対しても高い堅牢性を示しました。
オンライン強化学習において、関連するソースタスクの経験をターゲットタスクに転移させることは、学習を加速させるための自然なアプローチである。しかし、従来のタスク類似性の定義は報酬や遷移のレベルに留まっており、オンライン学習アルゴリズムが実際に操作するベルマン回帰ターゲットとの間に乖離があるため、単純なデータ統合では系統的なバイアスが生じ、探索の理論的保証が損なわれるという構造的な課題があった。本研究では、この問題を解決するために、演算子レベルでベルマンアライメントを行う「再重み付けターゲット（RWT）」を提案し、タスク間の不一致を継続価値に依存しない固定の一段階補正へと変換する手法を確立した。このアライメントに基づく二段階のQ学習フレームワークは、RKHS関数近似の設定において、リグレット界がターゲットタスク全体の複雑さではなくタスク間のシフトの複雑さに依存することを理論的に証明し、シミュレーションおよびニューラルネットワークを用いた実験の両方で、単一タスク学習やナイーブなデータ統合を上回る一貫した性能向上を実証している。
2024年の合同統計会議（JSM）で開催された討論会では、AIや大規模言語モデルの急速な進展に対応するため、統計学を「エンドツーエンドのデータサイエンス・エコシステム」として再定義する必要性が提言されました。
大規模言語モデル（LLM）の推論サービスにおいて、同期バリアによって生じる計算資源の不均衡が深刻なボトルネックとなっており、実際の運用データではデコード工程の40%以上の時間がアイドリング状態で浪費されていることが判明しました。
本研究は、わずか1枚の画像から新しい概念を学習する「ワンショットクラス増分学習（1SCIL）」において、データの極端な不足とクラス分布の複雑さに対応するため、特徴空間上での生成モデルを活用する新手法「Gen1S」を提案した。
データセンター等の大規模負荷において、単一の指標に頼らず日々の系統信号に基づき最適な制御戦略を「チェリーピッキング（厳選）」することで、従来の価格ベースの手法より2〜3倍高いCO2削減効果が得られることが判明しました。