順序を考慮したテスト時適応:頑健なストリーミング推論のための時間的ダイナミクスの活用
従来のテスト時適応(TTA)はデータストリームを独立したサンプルの集合として扱い、連続する観測値の間に存在する時間的な依存関係を無視していましたが、本研究はこれを解決するために時間的動態を教師信号として利用する「Order-Aware Test-Time Adaptation(OATTA)」を提案しました。
最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
従来のテスト時適応(TTA)はデータストリームを独立したサンプルの集合として扱い、連続する観測値の間に存在する時間的な依存関係を無視していましたが、本研究はこれを解決するために時間的動態を教師信号として利用する「Order-Aware Test-Time Adaptation(OATTA)」を提案しました。
従来のスコアマッチング手法は、離れた高密度領域間の相対的な重みを正しく推定できない「モード盲目性」という根本的な課題を抱えていたが、本研究はこの問題を解決するために、エネルギーベースモデル(EBM)の学習を異なるノイズレベル間での教師あり分類問題として再定義する新しい目的関数「Diffusive Classification(DiffCLF)」を提案した。 DiffCLFは、モデルにどの時間ステップのノイズが付加されたデータであるかを識別させることで、エネルギー関数とその正規化定数を直接的かつ正確に推定することを可能にし、従来のデノイジング・スコアマッチングと容易に組み合わせることができる軽量で柔軟な枠組みを提供するとともに、理論的にも真の分布を一意に復元できることが証明されている。 ガウス混合モデルを用いた検証や、物理学・化学分野でのボルツマンジェネレーターの構築、複数のモデルを組み合わせる合成タスクにおいて、提案手法は既存のスコアベース手法を上回る高い忠実度と広範な適用性を示し、生成品質の維持と正確なエネルギー値の利用を両立させることで、生成AIの応用範囲を大きく広げる成果を達成した。
本研究は28名のAI生成性的コンテンツ(AIG-SC)制作者へのインタビューを通じ、彼らの背景、制作手法、および動機を明らかにした。制作者は技術職や芸術職、性産業従事者など多岐にわたり、独自のパイプラインやジェイルブレイクを用いてテキストや画像を生成している。
光電容積脈波(PPG)信号の解析において、従来のランダムマスキングが信号の周期性ゆえに容易に解けてしまう問題と、対照学習が微細な形態的特徴を軽視する課題を解決するため、統計的事前情報を導入した生成型基盤モデル「SIGMA-PPG」が提案されました。
従来のマルチモーダル大規模言語モデル(MLLM)は、テキストベースの推論において優れた成果を収めてきましたが、物理的なダイナミクスや精密な空間的理解を必要とするタスクには依然として課題を抱えています。
従来の教師なしニューラル組合せ最適化(NCO)には、推論が高速な「汎用型モデル」と、個別の問題に特化して最適化を行う「インスタンス特化型モデル」という、互いに相容れない二つの手法が存在していました。
現実の検索では、ユーザーのクエリが記憶違いや情報の欠落により本来の意図を正確に反映しない「非忠実」な状態が多々ありますが、本研究は複数の回復仮説を生成して不確実性をモデル化し、元のクエリをセマンティックなアンカーとして保持しながら検索結果を統合する学習不要のフレームワーク「QUARK」を提案しました。
従来の多変量時系列異常検知は変数の数が不変であることを前提としていたが、実際の運用環境ではセンサーの追加・削除・名称変更といった「センサーの入れ替わり」が頻繁に発生し、入力の次元数が変動するという課題がある。
Foundation-Sec-8B-Reasoningは、Llama-3.1-8Bを基盤として開発された、サイバーセキュリティ分野で初となるオープンソースのネイティブ推論モデルであり、複雑なセキュリティ分析において「思考」プロセスを明示する能力を備えている。
大規模言語モデルを特徴量候補の提案役に特化させ、その選択プロセスをベイズ最適化に基づく効用モデルと分離することで、モデルの内部的な直感に頼った非効率な探索を排除し、低収益な操作の繰り返しを抑制する新しいフレームワークを提案した。