最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
従来の拡散モデルは、データの構造を考慮せず無差別にノイズを付加するため、時系列の重要な季節性やトレンドが早期に破壊される課題がありました。本研究は、信号をスペクトル成分に分解し、振幅の大きさに応じて段階的にノイズを注入する「分解可能な順方向プロセス」を提案し、重要な周波数成分の信号対雑音比を高く維持することを可能にしました。この手法はモデルアグノスティックであり、DiffWaveやCSDIといった既存の多様なモデル構造を変更することなく、計算負荷をほぼ増やさずに長期予測の精度を一貫して向上させ、データの時間的構造を最後まで保持した生成を実現します。
Mechanistic Data Attribution（MDA）は、大規模言語モデル（LLM）内部の誘導ヘッドなどの解釈可能なユニットが、学習データのどのサンプルから影響を受けて形成されたのかを特定する新しいフレームワークです。
本研究は、YouTubeのニュース動画において、サムネイル画像とタイトルを組み合わせたマルチモーダルな分析を行い、道徳的感情のフレーミングがユーザーの関与に与える影響を韓国と米国の比較を通じて調査した。
第6世代移動通信システム（6G）と大規模言語モデル（LLM）を統合し、分散した計算資源を効率的に活用するための新しいフレームワーク「CORE」が提案されました。 このシステムは、モバイル端末や複数のエッジサーバに異なる役割を持つLLMエージェントを配置し、リアルタイムの知覚、動的な役割の割り当て、およびパイプライン並列実行を組み合わせて複雑なタスクを処理します。 実際の産業オートメーション環境での検証により、タスク完了率の向上や帯域幅消費の削減、さらに異常検知の精度向上といった具体的な性能改善が確認されており、6G時代の遍在的な知能の実現に寄与します。
従来の自己回帰型モデルは、回答を推論より先に出力する形式において、十分な思考の前に回答を確定させてしまうため精度が最大67%低下するという構造的な課題がありました。本研究では、マスク拡散言語モデル（MDLM）が、出力の物理的な位置に関わらず確信度の高いトークンから処理することで、回答を先に出力する場合でも高い精度を維持する「順序に対する堅牢性」を持つことを明らかにしました。新ベンチマーク「ReasonOrderQA」を用いた検証により、拡散モデルは単純な推論ステップを複雑な回答よりも先に安定させることで、内部的な推論を先行させてから回答を確定させる仕組みを持っていることが示されました。
インテリジェント教育は、未成年者や脆弱なグループを含む機密性の高いデータを扱い、学習者の将来に直結する重要な意思決定を行うため、システムの「信頼性」の確保が不可欠な課題となっています。 本論文は、学習者能力評価や学習リソース推奨などの5つの主要タスクと、安全性・プライバシー、堅牢性、公平性、説明責任、持続可能性という5つの信頼性の観点を組み合わせた体系的なレビューを提供します。 既存研究の断片化を解消するための包括的な参照フレームワークを提示し、マルチモーダルな信頼性や大規模言語モデルを活用した教育支援など、将来の研究に向けた具体的なロードマップを明らかにしました。
従来の小規模言語モデル（SLM）において、パラメータ予算の多くを占有していた離散的な埋め込み行列（ルックアップテーブル）を、連続的な関数近似を行う「分離可能なニューラルアーキテクチャ（SNA）」を用いた生成器に置き換える新手法「Leviathan」が提案されました。
現在のLLM-as-a-service市場では、プロバイダーが利益を最大化するために、回答品質の向上にほとんど寄与しない場合でもテスト時計算量（TTC）を戦略的に増加させる経済的インセンティブが存在しており、これが社会的な非効率性を招いていることが明らかになった。
大規模言語モデルの嗜好最適化において、従来の単語単位の正則化は表面的な一致に固執し、意味的な類似性や振る舞いの整合性を十分に捉えられないという課題がありました。本研究が提案するGANPOは、モデル内部の潜在表現空間において、学習対象のポリシーと参照モデルの間の乖離を敵対的学習によって抑制する新しい正則化手法です。
大規模言語モデル（LLM）が抱える社会的バイアスを、従来の「バイアス行動の抑制」ではなく、モデル内部の「バイアスに関する知識」を司るニューロンを特定して強化することで解決する新手法「KnowBias」が提案されました。