最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
大規模言語モデル（LLM）が学習中に記憶した機密情報や著作権データを削除するため、強化学習フレームワークであるGRPOを応用した新手法「PURGE」が提案されました。この手法は忘却を「検証可能なタスク」として再定義し、外部の報酬モデルを必要とせずに、禁止された概念への言及にペナルティを与える固有の報酬信号を利用することで、安全かつ一貫性のある忘却を実現します。検証の結果、既存手法と比較してトークン使用量を最大46倍削減し、モデルの流暢さを5.48%、敵対的攻撃への堅牢性を12.02%向上させつつ、元の実用性を98%という極めて高い水準で維持できることが示されました。
エッジデバイスを用いた分散学習において、通信効率とデータ汚染への堅牢性、そして極めて低いメモリ消費量を同時に実現する新しい非同期アルゴリズム「AsylADMM」を提案しました。 従来の分散ADMM手法がノードの次数に応じてメモリ使用量を増大させていたのに対し、本手法は各ノードが保持する変数をわずか2つに限定することで、リソース制約の厳しい環境でも動作可能です。 実験の結果、データの汚染がある状況下でも既存手法より高速かつ安定して収束し、分位点ベースのトリミングや幾何学的中央値の推定において優れた性能を示すことが確認されました。
本研究は、順序回帰とランキングの課題を解決するため、数値の正確性と順序の一貫性を同時に最適化する強化学習フレームワーク「Ranking-Aware Reinforcement Learning（RARL）」を提案しました。
強化学習のオフポリシー評価で用いられる勾配時間差学習（GTD）は、特徴相互作用行列（FIM）が非特異であるという強い仮定に依存しており、実際の応用では行列が特異になることで数値的な不安定性や収束の失敗が生じるという深刻な課題を抱えていた。
従来の時系列予測において、線形モデルはグローバルなトレンド把握には優れるものの、高周波な非線形信号の処理に限界がありました。本研究では、畳み込み層（CNN）がチャネル間のアテンション機構を補完しつつ非線形変動に対して高い堅牢性を持つことを解明し、線形投影の効率性とCNNの抽出力を統合した新アーキテクチャ「ACFormer」を提案しました。 複数のベンチマークデータセットを用いた実験の結果、ACFormerは既存の最先端モデルを一貫して上回る性能を達成し、特に線形モデルが苦手とする複雑な非線形パターンの復元において顕著な効果を示すことが確認されました。 共有パッチ圧縮、時間ゲート付きアテンション、独立パッチ拡張という3つの主要コンポーネントを導入することで、計算効率を維持しながら多変量間の複雑な相関と局所的な時間依存性の両方を精密にモデル化することに成功しました。
従来の仮想センサーは特定の用途ごとに個別のモデルを構築する必要があり、専門知識による入力信号の選択や計算コストの増大が課題であったが、本研究では複数の仮想センサーを統合的に予測可能な初の基盤モデルを提案する。
拡散モデルが学習データを複製する「記憶問題」に対し、従来のスコアのノルムに基づく検出法は高ノイズ時の等方的な状態でのみ有効であり、低ノイズ時の異方的な状態では精度が低下するという幾何学的な課題を特定しました。
機械学習ベースの制御器は未知の環境において性能が急激に低下し、自律システムの安全性を脅かすという深刻な課題を抱えているが、本研究では複数の制御器の中から現在の環境状況（コンテキスト）に応じて最適なものを選択する「コンテキスト対応ランタイムモニター」を提案し、この問題を解決する。
MuRAL-CPDは、ウェーブレット変換を用いたマルチ解像度解析と能動学習を高度に統合することで、時系列データにおける統計的な性質の変化を複数の時間的スケールで精密に特定する新しい変化点検知手法です。
オンプレミス環境での小規模モデル運用において、プライバシーやコストの制約から困難だった強化学習によるアライメントを、外部の教師モデルからの「アンカー」生成一回のみで実現する新しい蒸留手法「PU-RL」が提案された。