不均衡ドメインにおける汎化のためのネガティブ優位な対照学習
TL;DR不均衡ドメイン汎化(IDG)は、ドメインとラベルの両方のシフトを緩和することに焦点を当てた課題である。本研究では、IDGの汎化境界を理論的に確立し、決定境界を直接制御する重要性を示した。これに基づき、少数派クラスへの勾配信号を増幅する「ネガティブ優位な対照学習(NDCL)」
AI研究の要点を整理。最新の論文記事をカテゴリやタグで探索できます。
運営: Cognitive Research Labs(CRL) / crl.co.jp
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
Cog AI Archive
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
TL;DR不均衡ドメイン汎化(IDG)は、ドメインとラベルの両方のシフトを緩和することに焦点を当てた課題である。本研究では、IDGの汎化境界を理論的に確立し、決定境界を直接制御する重要性を示した。これに基づき、少数派クラスへの勾配信号を増幅する「ネガティブ優位な対照学習(NDCL)」
TL;DR本研究は、大規模言語モデル内の解釈可能な回路がどの学習データに由来するかを特定する「メカニスティック・データ・アトリビューション(MDA)」を提案します。影響関数を用いて特定のユニットと学習サンプルの因果関係を解明し、構造化データが回路形成を促進することを実証しました。
TL;DR現代のソフトウェアアーキテクチャは、適応的で確率的な推論を行う自律エージェントのサポートに苦慮しており、静的なインターフェースが主流です。本論文では、インターフェースを実行時の意図表明と意味交渉によって出現する一時的な関係イベントと捉える「Liquid Interfaces」を提案し、そのプロトコル(LIP)
TL;DR現実の強化学習環境は非定常であり、報酬やダイナミクスが変動する。本研究は、環境の変化を微分可能なホモトピー経路としてモデル化し、幾何学的視点から分析する。これにより、累積ドリフトや加速、アクションギャップによる非滑らかさといった複雑さの指標を導出し、これに基づき学習強度を適応させるHT-RLおよびHT-MCTS手法を提案する。
TL;DR本研究は、GPU上で複数の線形計画問題(LP)を並列かつ効率的に解くためのバッチ処理型一次手法を提案しています。基本アルゴリズムとして主双対ハイブリッド勾配法を拡張し、行列・行列演算を活用することで計算速度を向上させています。混合整数計画法の主要な工程において、従来のシンプレックス法を凌駕する性能を示しました。
TL;DR未知の力学系で動作するエージェントが、観測から効率的に力学を学習するための統一的なフレームワークを提案した研究である。パラメータ、信念、制御の因果関係を明示することで、特定のモデル選択に依存しない一般的な情報収集コストを導出した。
TL;DRPowerGenieは、高性能な再構成可能電力コンバータを大規模に自動発見するフレームワークである。SPICEシミュレーションなしで理論的性能限界を決定する解析手法と、生成モデルを進化させる手法を組み合わせている。これにより、既存の最高性能トポロジーより23%高い性能指標を持つ新しい8モードコンバータを発見した。
TL;DR時間的知識グラフ推論(TKGR)において、既存のLLMベースの手法は構造的関係よりも文脈を優先するため、動的グラフからの関連サブグラフ抽出に苦戦し、幻覚を起こしやすいという課題がある。本研究では、GNNの構造的モデリングとLLMの文脈理解を融合したハイブリッドフレームワーク「IGETR」
TL;DR従来の建築シミュレーションは要素を物理的な「粒子」として扱ってきましたが、本研究では大規模マルチモーダルモデルを用いた「エージェンティック環境シミュレーション」を提案します。AIのハルシネーションを診断ツールとして利用し、空間内の意味的な曖昧さ(ファントム・アフォーダンス)を検出する枠組みを提示しています。
TL;DR言語モデルが表明する価値観と実際の選択が食い違う「表明・顕示選好ギャップ(SvRギャップ)」について、24のモデルを用いて調査した研究である。中立や回答拒否を許容することで、弱いシグナルを除外し、表明された選好と強制選択による顕示選好の相関を大幅に改善できることが判明した。
Pricing