EVE: 近似アンラーニングにおけるカスタマイズされた摂動を用いたデータ消去の効率的な検証
1. 機械学習モデルから特定のデータを削除する「アンラーニング」が正しく実行されたかを検証するため、モデルの初期学習フェーズへの関与を一切必要とせず、アンラーニングの実行段階のみで効率的に動作する新しい検証手法「EVE」を提案する。 2.
Cog AI Archive
最新の記事
必要な時にグラフを使用する：検索拡張生成とグラフの効率的かつ適応的な統合
大規模言語モデルのハルシネーションや知識の風化を防ぐため、クエリの構文的な複雑さを解析して、従来のRAG（検索拡張生成）と構造的な知識グラフを用いるGraphRAGを動的に切り替える新フレームワーク「EA-GraphRAG」が提案されました。
読んだことすべてを信じてはいけない：誤解を招くツール説明下におけるMCPの挙動の理解と測定
Model Context Protocol（MCP）は、大規模言語モデル（LLM）が自然言語の説明を通じて外部ツールを呼び出すための標準規格ですが、ツールの説明文と実際の実行コードの整合性を強制する仕組みが欠如しています。
$V_0$: 状態ゼロにおけるあらゆる方策のための汎用価値モデル
大規模言語モデルの強化学習において、従来のアクター・クリティック法が抱えていた「方策の進化に伴う価値モデルの頻繁な再学習コスト」と、GRPO等の手法における「サンプリングの不安定性」という二律背反の課題を解決するため、方策の能力をパラメータではなく「過去の行動履歴」という文脈情報として読み取る汎用価値モデル「V0」を提案しました。 V0は、意味理解を担う埋め込みバックボーンと統計的推論に特化したTabPFNを組み合わせたハイブリッド構造を採用しており、特定のプロンプトに対する各モデルの成功確率を、追加の勾配更新なしに単一のフォワードパスで予測することが可能です。 実験の結果、V0は学習過程における方策の性能変化を極めて正確に追跡できるだけでなく、未知のモデルやタスクに対しても高い汎化性能を示し、学習時の計算資源配分の最適化や推論時のコスト効率的なルーティングにおいてパレート最適な制御を実現することを実証しました。
LLMベースの検索エンジンにおける出力ランキングの制御手法「CORE」の提案
大規模言語モデル（LLM）を用いた検索エンジンにおいて、特定の製品の推奨順位を意図的に最上位へ引き上げる最適化手法「CORE」が開発されました。 この手法は、検索エンジンが取得したコンテンツに戦略的なテキストを付加することで、モデル内部がブラックボックスであっても出力順位を自在に操作することに成功しています。
LLMはロケット科学ができるか？GTOC 12を用いた複雑な推論の限界の探究
本研究は、大規模言語モデル（LLM）が「ロケット科学のワールドカップ」と称される極めて複雑な宇宙力学競技会「GTOC 12」において、自律的なミッション設計が可能かを検証しました。 最新の推論モデルは過去2年間で戦略的妥当性のスコアを9.3から17.
情報検索のための推論と推論のための情報検索に関するチュートリアル
従来の情報検索（IR）は意味的な類似性に基づく文書ランキングに特化してきましたが、否定や排他、多段階の推論を伴う複雑な要求に応えるため、検索プロセスそのものを推論システムの中核に据えるパラダイムシフトが求められています。
RAGTurk: トルコ語における検索拡張生成（RAG）のベストプラクティス
トルコ語のような形態論的に豊かな言語における検索拡張生成（RAG）の挙動を解明するため、WikipediaとCulturaXから構築された20,459個の質問回答ペアを含む初の包括的データセット「RAGTurk」が提案されました。
マルチターンエージェントにおける対話の慣性の軽減
大規模言語モデル（LLM）をマルチターンエージェントとして利用する際、過去の自身の回答を過度に模倣して探索を阻害する「会話の慣性（Conversational Inertia）」という現象が特定されました。
LLMに触発された事前学習と微調整による小規模データ・大規模最適化手法の提案
本研究は、少数のデータ点しか得られない大規模な意思決定問題に対し、大規模言語モデル（LLM）の成功に触発された「事前学習と微調整（Pretrain-then-Finetune）」という新しい枠組みを提案している。