CoFrGeNet: 連分数に着想を得た新しい言語生成アーキテクチャ
TL;DR本研究では、連分数に着想を得た新しい生成モデリング用関数クラス「CoFrGeNets」を提案しています。これはTransformerの主要コンポーネントをより少ないパラメータで代替可能なアーキテクチャです。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
テキスト検索モデルのドメイン適応における影響度ガイド付きサンプリング
TL;DR汎用的な検索システムの学習において、多様なデータセットをどう配分するかは重要だが、従来の手法には課題があった。本研究では、強化学習を用いて最適なデータ配分を自動探索する軽量なフレームワーク「Inf-DDS」を提案する。これにより、既存手法より計算コストを抑えつつ、検索精度の大幅な向上を実現した。
大規模言語モデルのための時間的ガイダンス：TeGu
TL;DR大規模言語モデルの生成品質を向上させる対照的デコーディング（CD）は、通常、追加の計算コストを伴う。本研究では、モデルが局所的な選好を示すことに着目し、時間軸に沿った新しい対照的ガイダンス戦略「TeGu」を提案する。TeGuはマルチトークン予測（MTP）
Epistemic Context Learning: LLMベースのマルチエージェントシステムにおける正しい信頼構築
TL;DRマルチエージェントシステムにおいて、個々のエージェントが誤った仲間に盲目的に従う問題を解決するため、Epistemic Context Learning (ECL) が提案された。ECLは過去の対話履歴から仲間の信頼性を推定し、信頼できる仲間から学ぶ枠組みである。
CE-GOCD：論文タイトルを中心エンティティとしたグラフ最適化によるLLMの科学的質問応答の強化
TL;DR大規模言語モデル（LLM）による科学論文への質問応答能力を向上させるため、CE-GOCDという新手法が提案されました。この手法は、論文タイトルを中心エンティティとしてサブグラフを検索・最適化し、コミュニティ検出を用いてテーマごとの論文グループを抽出します。
Procedural Pretraining: 抽象データによる言語モデルのウォーミングアップ
TL;DRウェブ規模のデータで学習する前に、形式言語などの抽象的な手続き型データで事前学習を行う手法を提案します。この手法により、文脈想起の精度が大幅に向上し、標準的なデータセットでの学習効率も改善されます。わずか0.1%の抽象データを導入するだけで、従来の55%から86%のデータ量で同等の性能に到達することが示されました。
手続き型事前学習：抽象データによる言語モデルのウォーミングアップ
TL;DRウェブ規模のコーパスでの直接的な事前学習に代わる手法として、抽象的な構造化データを用いた初期学習の効果を検証した研究である。形式言語などで生成された「手続き型データ」をわずか0.1%先行学習させるだけで、自然言語やコードの学習効率が大幅に向上し、同じ損失値に到達するために必要なデータ量を最大45%削減できることが示された。
グリーンウォッシング検出のための言語モデル強化フレームワーク
TL;DR持続可能性報告書におけるグリーンウォッシングや曖昧な主張を検出するため、LLMの潜在空間を構造化するパラメータ効率の高いフレームワークを提案した研究です。対照学習と順序ランキングを組み合わせ、ゲート付き特徴変調でノイズを除去することで、既存モデルよりも高い堅牢性を実現しました。
TACLer：効率的な推論を実現するモデル適応型カリキュラム強化学習
TL;DRTACLerは、大規模言語モデルの推論効率と精度を向上させる強化学習フレームワークです。モデルの習熟度に合わせて学習データの難易度を段階的に上げるカリキュラム学習と、思考モードの有無を切り替えるハイブリッド推論を採用しています。
アテンションパターンが存在する理由：統一的な時間的視点による分析
TL;DR大型言語モデルにおける多様なアテンションパターンを統一的に説明するフレームワーク「TAPPA」を提案する研究です。時間的に連続した視点から数理的に分析することで、パターンを予測可能と予測不能なものに分類し、その違いがクエリの自己類似性に起因することを明らかにしました。推論加速への応用も実証されています。
保存済みの記事がまだありません。
読み込み中…