オフライン好みの最適化のための潜在空間における敵対的正則化
TL;DR従来の言語モデルの学習ではトークン単位の正則化が主流でしたが、意味的な類似性を捉えきれない課題がありました。本研究は、モデル内部の潜在表現の乖離を抑える手法「GANPO」を提案します。GANの手法を応用して潜在空間での正則化を行うことで、ノイズや分布の変化に強く、より頑健な学習が可能になることを示しました。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
生成AIの推論エネルギー消費を解剖する：大規模測定と診断フレームワーク
TL;DR生成AIにおける推論時のエネルギー消費を最適化するため、46モデル・7タスク・1,858構成に及ぶ大規模な測定を実施した研究である。タスクの種類やGPU使用率の違いがエネルギー消費に数倍から百倍以上の差を生むことを明らかにし、その要因を分析するためのフレームワークを提案している。
異種モダリティ間のコミュニケーション学習：マルチエージェントシステムにおける知覚の不均質性
TL;DRエージェントが異なるモダリティを持ち、知覚的な共通基盤を欠く状況でのコミュニケーションゲームを研究した論文である。知覚の不整合があるにもかかわらず、マルチモーダルシステムは入力に基づいた一貫性のあるメッセージに収束することが示された。また、意味は構成的ではなく分布的にエンコードされていることが明らかになった。
言語モデルにおける連続トークン表現のための分離可能なアーキテクチャ
TL;DR従来の小規模言語モデルでは、埋め込み行列がパラメータの多くを占有し、効率が低下するという課題がありました。本研究では、離散的なルックアップテーブルを連続的な埋め込み生成器に置き換える新アーキテクチャ「Leviathan」を提案します。評価の結果、同等のパラメータ数で標準的なモデルを凌駕し、最大2.
メタツールによるエージェントワークフローの最適化
TL;DRエージェント型AIの効率と堅牢性を向上させるフレームワーク「Agent Workflow Optimization (AWO)」が提案された。AWOは、繰り返されるツール実行パターンを分析して「メタツール」に変換し、中間の推論ステップを省略する。これにより、LLM呼び出し数を最大11.9%削減し、タスク成功率を最大4.
アンサンブル逆問題：応用と手法
TL;DR本研究は、観測データから真の分布を推定する「アンサンブル逆問題（EIP）」を定義し、非反復的な推論手法を提案しています。提案手法は、観測セット全体の情報を活用する新しい条件付き生成モデルを用いて、事後分布のサンプリングを行います。
LogitsからLatentsへ：LLMアンラーニングのための対照的表現シェーピング
TL;DRLLMのアンラーニングにおいて、従来の手法は予測空間での調整に留まり、忘却対象の概念が内部表現に残存する問題があった。本研究では、対照的表現正則化手法「CLReg」を提案する。CLRegは忘却対象の特徴を特定し、保持すべき知識から分離することで、表現空間での絡み合いを解消し、より効果的なアンラーニングを実現する。
マルチモーダル大規模言語モデルにおける「忘却」を視覚情報で導く新手法ViKeR
TL;DRマルチモーダル大規模言語モデル（MLLM）が特定の画像に関する個人情報を漏らさないようにする「アンラーニング（忘却）」に関する研究である。既存手法がすべての回答トークンを一律に扱うのに対し、本手法「ViKeR」は視覚情報を活用して重要なトークンを特定し、優先的に学習プロセスを調整する。
TBDFiltering: 階層的クラスタリングを用いた効率的な学習データ選別手法
TL;DR本研究は、大規模言語モデルの学習データ選別を効率化する「TBDFiltering」を提案しています。テキスト埋め込みに基づく階層的クラスタリングを活用し、LLMへの問い合わせを適応的に選択することで、全データの品質を推定します。
MEIDNet: マルチモーダル生成AIによる材料の逆設計フレームワーク
TL;DRMEIDNetは、材料の構造情報と特性を対照学習で共同学習するマルチモーダルな逆設計フレームワークである。等変グラフニューラルネットワーク（EGNN）を用いて構造をエンコードし、生成的な逆設計と組み合わせることで、目標特性を満たす材料の探索を加速させる。
保存済みの記事がまだありません。
読み込み中…