最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
大規模言語モデルの強化学習において、従来のオンポリシー手法は探索の多様性が不足し、性能が早期に飽和するという課題がありました。本研究では、単一の回答サンプル内で過去のポリシーによる接頭辞と現在のポリシーによる継続生成をトークンレベルで統合する新しい枠組みであるSOUPを提案し、学習の安定性と探索能力の両立を図っています。数学的推論タスクを用いた広範な実験の結果、SOUPは標準的なオンポリシー学習や既存のオフポリシー拡張手法を上回る性能を達成し、より安定した報酬の推移と高い探索効率を実現することが確認されました。
従来のスタンス検出は「賛成」「反対」といった単純なカテゴリ分類に限定されてきましたが、本研究では感情科学の知見を導入し、感情の質を示す「価」と強さを示す「喚起度」という連続的な数値次元でスタンスを詳細に評価する新しいアプローチを提案しました。
従来のスタンス検出は「賛成」「反対」「中立」といったカテゴリ分類が主流であったが、本研究では感情科学の枠組みを導入し、感情の価数（ポジティブ・ネガティブ）と覚醒度（穏やか・活発）という連続的な数値でスタンスを捉える新しいアプローチを提案した。
PoLR（Path of Least Resistance）は、大規模言語モデル（LLM）の推論コストを劇的に削減するために開発された、推論時に適用可能な新しいアルゴリズムである。従来のSelf-Consistency（SC）がすべての推論経路を最後まで生成して計算資源を浪費するのに対し、本手法は初期の短い断片（プレフィックス）を生成した段階でクラスタリングを行い、最も有力なグループのみを拡張することで無駄な計算を排除する。 数学や科学などの多様なベンチマークにおいて、SCと同等以上の精度を維持しながら、トークン使用量を最大60%、実行時間を最大50%削減することに成功しており、モデルの追加学習を必要としないドロップイン型の代替案として極めて高い実用性を持つ。 理論的な分析により、推論の初期段階には最終的な正解を予測するための強い信号が含まれていることが示されており、この「プレフィックスの一貫性」を利用することで、効率性と精度の両立を実現している。既存の適応的推論手法とも完全に補完関係にあり、それらと組み合わせることでさらなる計算資源の節約が可能となる。
大規模言語モデル（LLM）の推論精度を向上させる自己整合性（Self-Consistency）は、全推論経路を最後まで生成するため計算コストが極めて高いという課題がありますが、本研究は推論の初期段階である「接頭辞」に正解を予測する強力な信号が含まれるという「接頭辞の合意」現象に着目した新手法PoLR（Path of Least Resistance）を提案しました。 PoLRは、まず複数の短い接頭辞を生成してクラスタリングを行い、最も支配的な推論グループのみを最後まで拡張することで、精度を維持または向上させながらトークン使用量を最大60パーセント、実行時間を最大50パーセント削減することに成功しており、モデルの微調整を必要としない推論時のプラグインとして機能します。 数学（GSM8K、MATH500、AIME24/25）や科学（GPQA-DIAMOND）などの難解な推論タスクにおいて、既存の適応型推論手法（Adaptive Consistencyなど）と組み合わせることでさらなる効率化が可能であり、1.5Bから32Bまでの多様なモデル規模でその有効性と実用性が実証されました。
大規模言語モデルの計算コストとエネルギー消費を削減するため、アテンション機構を状態空間モデル（SSM）に置き換えて線形時間処理を実現し、さらにFFN層をスパイキングニューラルネットワーク（SNN）で疎化する二段階フレームワーク「MAR」を提案しています。
MARは、計算負荷の高い注意機構を線形時間の状態空間モデル（SSM）に置き換えた上で、フィードフォワードネットワーク（FFN）をスパイキングニューラルネットワーク（SNN）によってスパース化する、二段階のモジュール対応アーキテクチャ洗練フレームワークである。
大型言語モデルの内部活性化を直接操作するアクティベーション・ステアリングは、追加学習や複雑なプロンプトを必要とせずに、出力の感情トーンを精密かつ段階的に制御できる軽量な手法である。本研究では、190人の参加者から7,000件以上の評価を収集する初の大規模な人間評価を実施し、人間がモデルの感情変化を明確に知覚できること、および自動評価指標と人間の直感が平均r=0.776という高い相関を示すことを証明した。特定の強度（λ≈0.15）でステアリングを行うことで、テキストの読みやすさを維持したまま「嫌悪」や「恐怖」などの感情を効果的に増幅できる一方、「驚き」の制御は比較的困難であるという感情ごとの特性や、モデルの基礎能力が制御の一貫性に寄与することが明らかになった。
本研究は、大規模言語モデル（LLM）の内部活性化を直接操作する「アクティベーション・ステアリング」を用い、出力の感情トーンを制御する手法の有効性を、190人の参加者による7,000件以上の評価を通じて初めて人間中心の視点から検証した。 実験の結果、ステアリング強度を適切な値（$\lambda \approx 0.
1. MURADは、96,243組の単語と定義のペアを収録した、アラビア語において過去最大規模を誇る多領域統合型の逆引き辞書データセットであり、17の信頼できる学術的・教育的出典から構築されている。 2.