最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
MergeMixは、大規模言語モデル（LLM）の中間学習における最適なデータ混合比を、モデルマージの重みを代理指標（プロキシ）として活用することで効率的に特定する新しい手法である。 従来のデータ混合比の最適化は、膨大な計算コストを伴う試行錯誤やスケーリング則の推定に依存していたが、本手法は少量のトークンで学習したドメイン専門家モデルを線形補間することで、実トレーニングなしに下流タスクの性能を予測する。 実験では8Bおよび16Bのモデルにおいて、手動による網羅的な調整と同等以上の性能を達成しつつ、探索コストを100倍以上削減することに成功しており、高いランク相関とスケールを跨いだ転移性も確認されている。
大規模言語モデルが学習データから抽象的な構造情報をどのように獲得し、それを未知の組み合わせの生成（構成的汎用化）に利用できるかを、変形文法に基づく独自の自然言語データセットを用いて検証した。 実験の結果、モデル内部で構造情報の表現が明確になる時期は、単純な次単語予測の精度向上よりも、複雑な推論タスクの性能向上と強く相関しており、学習の進展に伴い構造の区別が急激に明確化する相転移現象が確認された。 しかし、学習時に見たことのない複数の構造を組み合わせる能力は依然として限定的であり、中間的な生成ステップを明示しない限り正確な出力を得ることが困難であることから、現在の学習手法における構成的な知識生成の限界が浮き彫りになった。
本研究は、人工知能（AI）が国際保健規則（IHR 2005）やWHOタバコ規制枠組条約（FCTC）の実施をいかに強化するかを、インド、EU、米国、および低中所得国（LMICs）の比較を通じて分析したものである。
現代の科学や産業分野で急増している高次元データは、距離尺度が意味をなさなくなる「次元の呪い」により、従来の自動クラスタリング手法では正確な分類が困難であるという深刻な課題を抱えています。 本研究が提案するIPBC（Interactive Projection-Based Clustering）は、非線形投影手法であるUMAPに人間によるフィードバックループを統合し、ユーザーが「must-link」や「cannot-link」といった制約を直接投影モデルに与えることで、データの構造を動的に洗練させる革新的なフレームワークです。 MNISTや単一細胞RNA解析データを用いた検証の結果、わずか数回の対話的な修正ステップでクラスタリングの質（ARIやNMI）が大幅に向上し、さらに決定木を用いた説明可能性コンポーネントによって、各クラスタを特徴づける元の変数を特定できることが示されました。
本研究は、急速に拡大する脳波（EEG）基盤モデルの分野を包括的に整理するため、50の代表的なモデルを詳細に調査し、その設計選択をデータ標準化、モデルアーキテクチャ、自己教師あり学習戦略の観点から統一的な分類体系にまとめた。
人工知能（AI）の急速な普及に伴い、インド、米国、英国、欧州連合における知的財産権（IPR）の現状を比較分析し、インドの既存法制度におけるAI特有の規定の欠如や、特許法第3条(k)がAI生成発明の特許化を阻害している現状、営業秘密保護の脆弱性などの法的な不整合を明らかにしている。
マルウェアの進化に伴う統計的性質の変化（コンセプトドリフト）に対応するため、Windows PEファイルを対象とした新しい分類フレームワーク「FARM」が提案されました。この手法はトリプレット・オートエンコーダーを用いてデータを識別性の高い潜在空間に投影し、教師なし学習であるDBSCANクラスタリングと動的なしきい値設定を組み合わせることで、未知の検体や変化した挙動を正確に検知します。 検知されたドリフト検体はバッファに一時的に蓄積され、少数のラベル付きサンプルからクラスを代表する「プロトタイプ」を生成する少数ショット学習によって、モデル全体の大規模な再学習を待つことなく迅速に新しいマルウェアファミリーへと適応することが可能です。これにより、従来の静的なモデルが直面していた、時間の経過とともに分類精度が大幅に低下するという深刻な課題を解決し、動的な脅威環境下でも高い信頼性を維持します。 実装実験の結果、既存ファミリーの性質変化（共変量ドリフト）に対して分類性能が5.6%向上し、未知のファミリーに対しても少数ショット適応のみで0.85、その後の再学習後には0.94という高いF1スコアを達成しました。本フレームワークは、ラベル付けのコストを抑えつつ、Windows環境における膨大な新種マルウェアに対して効率的かつ継続的に防御能力を更新できる実用的なアプローチを提供し、サイバーセキュリティの実務におけるモデルの老化問題を緩和します。
本研究は、構造的因果モデル（SCM）を用いた膨大な合成データで事前学習された表形式データ向け基盤モデル「TabPFN」について、予測精度、公平性、および頑健性の観点から包括的な実証評価を行った。
大規模で複雑なITインシデント管理において、従来のLLMエージェントはコンテキスト制限や推論の非決定性により、一度の成功はあっても継続的な信頼性に欠けるという課題を抱えていた。 本研究が提案するEoG（Explanations over Graphs）は、決定論的なコントローラーによる探索管理と、LLMによる局所的なアブダクション推論を分離し、メッセージパッシングを用いたセマンティック信念伝播（SBP）によって動的な判断修正を可能にした。 ITBenchを用いた検証では、従来のReAct手法と比較して、複数回の実行における一貫した正解率を示すMajority@k F1スコアで平均7倍の向上を達成し、複雑な依存関係を持つシステムにおける根本原因特定において極めて高い信頼性を実証した。
拡散大規模言語モデル（dLLM）は並列デコーディングと双方向アテンションにより高い一貫性を持つが、自己回帰型モデルと比較して推論速度が大幅に遅いという課題がある。 本研究が提案するStreaming-dLLMは、空間的な冗長性を排除する「減衰誘導サフィックスモデリング」と、時間的な非効率性を改善する「動的信頼度認識並列デコーディング」を導入した学習不要のフレームワークである。 検証の結果、生成品質を維持したまま最大68.2倍の推論加速を達成し、既存の手法を大幅に上回るスループットと競争力のある精度を両立することに成功した。