指示に従うこととタスク解決能力の間の逆説的な干渉について
TL;DR大規模言語モデル（LLM）において、指示に従う能力がタスク解決能力を阻害する逆説的な現象が明らかになった。研究チームは、モデルが自然に満たしている自明な制約を指示に追加するだけで、数学やコード生成などのタスク性能が大幅に低下することを発見した。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
言語モデルにおける連続トークン表現のための分離可能なアーキテクチャ
TL;DR従来の小規模言語モデルでは、埋め込み行列がパラメータの多くを占有し、効率が低下するという課題がありました。本研究では、離散的なルックアップテーブルを連続的な埋め込み生成器に置き換える新アーキテクチャ「Leviathan」を提案します。評価の結果、同等のパラメータ数で標準的なモデルを凌駕し、最大2.
順序に縛られない思考：拡散言語モデルにおける出力順序と推論順序の乖離
TL;DR自己回帰型モデルは左から右への生成順序に縛られるため、結論を先に述べる形式では推論が困難になる課題があります。本研究は、全トークンを並列に洗練する拡散言語モデル（MDLM）が、出力順序に依存せず推論を行う「順序の堅牢性」を持つことを示しました。実験では、回答を先に求める設定でもMDLMは高い精度を維持しました。
因果的自己回帰拡散言語モデル
TL;DR本研究は、自己回帰モデル（ARM）の学習効率と拡散モデルの高速な推論能力を統合した新しいフレームワーク「CARD」を提案する。厳密な因果的注意マスクを用いて拡散プロセスを再構築し、単一のフォワードパスで高密度な監視を可能にした。既存の離散拡散モデルを上回る性能を示しつつ、学習遅延を3分の1に短縮することに成功している。
「より良い」プロンプトが逆効果になる時：LLMアプリのための評価主導型反復プロセス
TL;DRLLMアプリ開発における評価主導型ワークフロー（定義、テスト、診断、修正）と、推奨評価セットであるMVESを提案する研究である。実験では、一般的に「改良された」とされるプロンプトが、特定のタスク（抽出やRAG準拠）の性能を低下させるトレードオフが確認された。
メカニスティック・データ・アトリビューション：解釈可能なLLMユニットの学習の起源を追跡する
TL;DR本研究は、大規模言語モデル内の解釈可能な回路がどの学習データに由来するかを特定する「メカニスティック・データ・アトリビューション（MDA）」を提案します。影響関数を用いて特定のユニットと学習サンプルの因果関係を解明し、構造化データが回路形成を促進することを実証しました。
Token-Guard: 自己チェックによるトークンレベルのハルシネーション制御
TL;DR大規模言語モデル（LLM）のハルシネーションを抑制するため、自己チェックを用いたデコーディング手法「Token-Guard」が提案された。これは各推論ステップで内部検証を行い、ハルシネーションのリスクがあるトークンを検出・修正する。実験ではハルシネーションの大幅な削減と生成精度の向上が確認された。
OVD: 教師モデルの言語スコアを活用した効率的なオンポリシー蒸留手法
TL;DR大規模な教師モデルから効率的な生徒モデルへ推論能力を転移させる新しい手法「OVD」が提案された。従来の手法と異なり、トークンレベルの確率一致ではなく、教師からの離散的な言語スコア（0〜9）を用いた軌跡マッチングを採用している。これによりメモリ消費を大幅に削減しつつ、Web質問応答や数学タスクで顕著な性能向上を達成した。
産業化された欺瞞：LLMによる誤情報がデジタルエコシステムに与える付随的影響
TL;DR本研究は、生成AIと誤情報に関する2024年の調査以降の脅威の変化を報告し、文献レビューから実践的な対策へと焦点を移行させています。AI生成ニュースに対する人間の認識を評価する「JudgeGPT」と、研究用の刺激生成エンジン「RogueGPT」を開発し、実験パイプラインを構築しました。
SONIC: KVキャッシュ圧縮のためのセグメント最適化ネクサス
TL;DRLLMの多対話においてKVキャッシュの増大は課題です。本論文は、過去のセグメントを「Nexus」トークンへ圧縮する学習ベースのフレームワーク「SONIC」を提案しました。動的予算トレーニングにより、再学習なしでメモリ制約に適応可能です。既存手法を上回る性能を示し、推論速度を50.1%向上させることに成功しました。
保存済みの記事がまだありません。
読み込み中…