文埋め込みを用いたカーネル変化点検出による教師なしテキストセグメンテーション
テキストセグメンテーションにおける境界ラベルの付与コストや主観性の問題を解決するため、事前学習済みの文埋め込みとカーネル変化点検出（KCPD）を組み合わせた、学習不要で汎用性の高い教師なし手法「Embed-KCPD」が提案されました。
Cog AI Archive
最新の記事
MortalMATH：推論の目的と緊急時の文脈の間の対立の評価
大規模言語モデルの推論最適化が進む中で、数学の問題解決に没頭するあまりユーザーの生命に関わる緊急事態を無視する「トンネル視界」現象が確認されました。 Llama-3.1のような汎用モデルは緊急時に数学を拒否して安全を優先しますが、Qwen-3-32bやGPT-5-nanoなどの推論特化モデルは、死に直面した状況下でも95%以上の確率で計算を完遂します。 推論特化モデルは計算に最大15秒もの時間を費やすため、たとえ最終的に安全上の助言を行ったとしても、救命に必要な情報の提供に致命的な遅延が生じることが本研究のベンチマーク「MortalMATH」により明らかになりました。
Wikipedia Glottosetを用いた242言語にわたるサブワードベースの比較言語学
本研究は、Wikipediaの語彙データから構築した「glottoset」を活用し、ラテン文字とキリル文字を使用する242言語を対象に、Byte-Pair Encoding（BPE）を用いた大規模な比較言語学のフレームワークを提案した。
感情をMEGで拡大する：注釈付き脳データからの感情分析
本研究は、感情ラベルが欠如している既存の脳磁図（MEG）データセットに対し、事前学習済みのテキスト感情分析モデルを用いて自動的に注釈を付与する革新的なパイプラインを提案しました。 シャーロック・ホームズの物語を聴取中の脳活動データと、テキストから抽出した感情スコアを時間軸で精密に統合することで、大規模な訓練データを構築し、脳信号から直接感情を解読するモデルの構築に成功しました。 実験の結果、多層パーセプトロン（MLP）や長短期記憶（LSTM）を用いた予測モデルは、統計的に有意な精度で感情状態を識別でき、非侵襲的な脳計測データから複雑な心理状態を読み取るための概念実証を提示しました。
FLOPsを再利用せよ：非常にオフポリシーなプレフィックスによる条件付けを用いた、困難な問題における強化学習のスケールアップ
大規模言語モデルの数学やコーディング等の難問解決において、正解が稀なために学習が停滞する課題に対し、過去の成功トレースの冒頭部分を「プレフィックス」として与えることでオンポリシー学習を導く新手法「PrefixRL」を提案しました。
XProvence：検索拡張生成のためのゼロコストな多言語コンテキストプルーニング
XProvenceは、検索拡張生成（RAG）の推論速度を向上させるため、リランカーに「ゼロコスト」でコンテキスト削減機能を統合した多言語対応モデルであり、BGE-M3を基盤として100以上の言語をサポートします。
語族の重要性：言語の境界を越えたLLMベースのASRの評価
大規模言語モデル（LLM）を活用した自動音声認識（ASR）において、個別の言語ごとに接続モジュール（コネクタ）を学習させる従来の手法に対し、言語的な類似性に基づいた「語族」単位でコネクタを共有する新しい戦略を提案した。
推測デコーディング用ドラフトモデル学習では平坦なトークンがより価値を持つ
大規模言語モデル（LLM）の推論を高速化する推測デコーディング（SD）において、ドラフトモデルの学習効率を劇的に向上させるデータ中心のアプローチが提案されました。研究チームは、ターゲットモデルの予測分布が「平坦（一様分布に近い）」であるトークンほど、学習による承認率の向上が大きいという理論的・経験的な事実を明らかにしました。 この知見に基づき、予測分布の平坦さを測定する新指標「flatness」と、それを利用して価値の高いサンプルを抽出する手法「SFDD」を開発し、従来のデータ選択手法を大幅に上回る性能を確認しました。実験では、全データの50%のみを使用した場合でも、フルデータセットを用いた場合と比較して推論速度の低下を4%以内に抑えつつ、学習時間を2倍以上短縮することに成功しました。 本研究は、単に損失関数を変更するのではなく、どのデータが学習にとって真に価値があるのかという視点から、推測デコーディングの学習プロセスを最適化できることを示しました。これにより、膨大な計算リソースを必要とするドラフトモデルの構築コストを大幅に削減し、実用的な推論加速を実現する道筋を提示しています。
SICL-AT：聴覚LLMを低リソースタスクに適応させる新手法
聴覚大規模言語モデル（Auditory LLM）は、子供の音声認識や複雑な音声推論といったデータが乏しい低リソースタスクにおいて、直接的な微調整を行うと過学習や分布の不一致により性能が不安定になるという課題を抱えています。
BabyReasoningBench：赤ちゃん言語モデル評価のための発達に着想を得た推論タスクの生成
従来の言語モデル評価は成人の知識や複雑な指示への追従を前提としていましたが、本研究では乳幼児の認知発達の軌跡に着想を得た新しい評価指標「BABYREASONINGBENCH」を提案しました。 このベンチマークは、心の理論、類推、因果推論、基本的な推論プリミティブの4つの領域にわたる19のタスクで構成されており、子供向けの発話データなどで学習された「赤ちゃん言語モデル」の能力を精密に測定します。 実験の結果、学習データの規模を拡大することで物理的・因果的な推論能力は向上するものの、他者の信念の理解や語用論的な判断を要する課題は依然として困難であり、能力の出現には不均一なパターンがあることが明らかになりました。