最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
進化戦略（ES）は、従来の勾配ベースの手法であるGRPOと比較して、数学や推論タスクにおいて同等の性能を達成しつつ、メモリ消費を大幅に抑えられる可能性を秘めています。 しかし、本研究の分析により、ESを用いた学習はモデルが既に持っていた既存の知識を急速に失わせる「破滅的忘却」を引き起こし、特定のタスクに特化する一方で汎用性が著しく低下することが判明しました。 この忘却の原因は、ESによるパラメータ更新がGRPOに比べて1000倍も大きなノルムを持ち、かつモデル全体にわたる高密度な変更を加えることで、既存の知識構造を破壊してしまう点にあると結論付けられています。
従来の推薦システムは、精度向上とビジネス上の制約（公平性や在庫露出など）の両立を「ソフトな罰則」として扱ってきたため、実運用で制約違反が頻発するという課題を抱えていました。 本研究が提案する「DualAgent-Rec」は、LLMを最適化のオーケストレーター（調整役）として配置し、精度を追求するエージェントと多様性を探索するエージェントを動的に制御する二重構造のフレームワークです。 Amazonのデータセットを用いた実験では、ビジネス制約を100%遵守しながら、既存の手法と比較してパレート・ハイパーボリュームを4〜6%向上させ、実用的な精度と多様性のトレードオフを実現しました。
AgenticSCRは、開発者がコードをコミットする前の段階で、不完全かつ文脈に依存する「未成熟な脆弱性」を検出するために設計された、自律的な意思決定とツール呼び出し能力を備えたAIエージェントフレームワークである。
本研究は、自己注意機構を持つトランスフォーマーが訓練を通じてトークン間の意味的関連性を獲得するプロセスを、勾配の主要項近似という手法を用いて理論的に解明した。重み行列は「バイグラム」「トークン互換性」「文脈」という3つの基底関数の単純な合成として閉形式で表現可能であり、これがモデルの内部構造を決定づけていることを明らかにした。実世界のデータを用いた検証により、この理論的な重みの特徴付けが実際の大規模言語モデルの挙動や学習された重みと密接に一致することが確認され、ブラックボックスとされるモデルの機械論的な基礎を提示した。
大規模言語モデル（LLM）のハルシネーション検知において、訓練データと異なる領域で精度が低下する「クロスドメイン汎用性」の欠如を解決するため、単一ドメインの学習のみで多様な未知の領域に対応できる汎用的検知（GHD）の枠組みを確立しました。
アマゾンのサプライチェーンにおける膨大な製品数の異常検知を効率化するため、人間の専門知識を大規模に拡張する新しいフレームワークが提案されました。従来の教師なし学習手法ではビジネス文脈の反映が難しく、一方で人間による手動の分析や大規模言語モデル（LLM）の直接的な運用には、コストや遅延、非決定性といった実用上の大きな課題が存在していました。 本手法は、マルチモーダルLLMを用いたデータのラベル付け、LLMによる論理ルールの自動生成と反復的な最適化、そしてビジネス上の解釈性を高めるルールの拡張という3つの段階で構成されています。特に、LLMを「セマンティックな勾配」として利用し、ルールの振る舞い分析に基づいて論理構造を修正する仕組みを導入することで、機械学習のような体系的な学習プロセスを実現しています。 実験の結果、提案手法は従来の教師なし学習を精度と解釈性の両面で上回り、LLMを直接運用する場合と比較して、低コストかつ低遅延で決定論的な結果を提供できることが確認されました。これにより、ブラックボックスではない透明性の高いルールを本番環境にデプロイすることが可能となり、専門家による検証や修正も容易な、実用的な異常検知システムが構築されました。
大規模言語モデル（LLM）の推論学習において、従来の強化学習手法が抱えていた「全問題を一律に扱う非効率性」を解消するため、問題の難易度に応じて学習の重みと計算資源を動的に配分する「マルチ敵対的GDROフレームワーク」が提案されました。
従来のべき乗則やロジスティック関数に基づくスケーリング則は、平均検証損失という単一の指標に依存しており、下流タスクで見られる「逆スケーリング」や「性能の停滞」といった多様な挙動を正確に予測できないという根本的な課題を抱えていました。
大規模言語モデル（LLM）の安全性を高めるための「アクティベーション・ステアリング」において、従来の回転手法がモデルの内部状態（ノルム）を歪ませ、特に7B未満の小規模モデルで生成崩壊を引き起こす問題を特定しました。
安全性が調整された大規模言語モデル（LLM）において、有害な入力に回答してしまう「脱獄」と、無害な質問を拒否する「過剰拒否」がトレードオフの関係にあるのは、モデル内部で回答の意思決定と安全性評価が独立したプロセスとして処理されていることが原因です。