Transformer推論のためのレート歪み最適化
TL;DRTransformerの推論を複数デバイスで効率的に行うため、中間表現を圧縮するレート歪みベースのフレームワークを提案した研究である。ビットレートと精度のトレードオフを学習するこの手法は、言語ベンチマークにおいて、より複雑なベースライン手法を上回る圧縮率と精度を達成した。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
不均衡ドメインにおける汎化のためのネガティブ優位な対照学習
TL;DR不均衡ドメイン汎化（IDG）は、ドメインとラベルの両方のシフトを緩和することに焦点を当てた課題である。本研究では、IDGの汎化境界を理論的に確立し、決定境界を直接制御する重要性を示した。これに基づき、少数派クラスへの勾配信号を増幅する「ネガティブ優位な対照学習（NDCL）」
メカニスティック・データ・アトリビューション：解釈可能なLLMユニットの学習の起源を追跡する
TL;DR本研究は、大規模言語モデル内の解釈可能な回路がどの学習データに由来するかを特定する「メカニスティック・データ・アトリビューション（MDA）」を提案します。影響関数を用いて特定のユニットと学習サンプルの因果関係を解明し、構造化データが回路形成を促進することを実証しました。
ドリフトするMDPの幾何学：経路積分による安定性証明
TL;DR現実の強化学習環境は非定常であり、報酬やダイナミクスが変動する。本研究は、環境の変化を微分可能なホモトピー経路としてモデル化し、幾何学的視点から分析する。これにより、累積ドリフトや加速、アクションギャップによる非滑らかさといった複雑さの指標を導出し、これに基づき学習強度を適応させるHT-RLおよびHT-MCTS手法を提案する。
混合整数計画法における並列LP解決のためのバッチ処理型一次手法
TL;DR本研究は、GPU上で複数の線形計画問題（LP）を並列かつ効率的に解くためのバッチ処理型一次手法を提案しています。基本アルゴリズムとして主双対ハイブリッド勾配法を拡張し、行列・行列演算を活用することで計算速度を向上させています。混合整数計画法の主要な工程において、従来のシンプレックス法を凌駕する性能を示しました。
未知の力学系における一般化された情報収集フレームワーク
TL;DR未知の力学系で動作するエージェントが、観測から効率的に力学を学習するための統一的なフレームワークを提案した研究である。パラメータ、信念、制御の因果関係を明示することで、特定のモデル選択に依存しない一般的な情報収集コストを導出した。
PowerGenie: 解析的ガイド付き進化による高性能再構成可能電力コンバータの発見
TL;DRPowerGenieは、高性能な再構成可能電力コンバータを大規模に自動発見するフレームワークである。SPICEシミュレーションなしで理論的性能限界を決定する解析手法と、生成モデルを進化させる手法を組み合わせている。これにより、既存の最高性能トポロジーより23%高い性能指標を持つ新しい8モードコンバータを発見した。
グラフ構造と知識ガイド編集の融合による解釈可能な時間的知識グラフ推論
TL;DR時間的知識グラフ推論（TKGR）において、既存のLLMベースの手法は構造的関係よりも文脈を優先するため、動的グラフからの関連サブグラフ抽出に苦戦し、幻覚を起こしやすいという課題がある。本研究では、GNNの構造的モデリングとLLMの文脈理解を融合したハイブリッドフレームワーク「IGETR」
トークンからブロックへ：分子生成におけるブロック拡散の視点
TL;DRSoftMolは、分子生成のための新しい統合フレームワークであり、従来のトークン予測の限界を克服するために開発された。SMILESのルールフリーなブロック表現である「ソフトフラグメント」を導入し、拡散モデルと自己回帰生成を組み合わせたSoftBDを提案している。
不確実性を考慮した高速かつ信頼性の高い形状最適化のためのデータ駆動型手法
TL;DRデータ駆動型最適化（DBO）は、代理モデルを用いて空力性能向上のための形状最適化を効率化するが、訓練データ外のサンプルに対する予測誤差が課題である。本研究では、不確実性を定量化し最適化プロセスに組み込むUA-DBOフレームワークを提案する。
保存済みの記事がまだありません。
読み込み中…