経験の時代において、言語ベースの試行錯誤は遅れをとる
大規模言語モデル（LLM）は言語タスクには強いものの、記号や空間を扱う未知の非言語タスクでは、膨大なパラメータによる試行錯誤の計算コストが極めて高く、効率的な探索が困難であるという根本的な課題を抱えている。
Cog AI Archive
最新の記事
EWSJF: 混合ワークロードのLLM推論に向けたハイブリッド分割による適応型スケジューラ
大規模言語モデル（LLM）の推論において、短時間の対話型クエリと長時間のバッチ処理が混在すると、従来の先着順方式では長い処理が先頭で詰まり、応答遅延やハードウェア効率の低下を招くという課題がある。
EWSJF: 混合ワークロードLLM推論のためのハイブリッド分割型適応スケジューラ
大規模言語モデル（LLM）の推論において、低遅延が求められる短文クエリとスループット重視の長文バッチが混在する「混合ワークロード」は、従来の先入れ先出し（FCFS）方式では先頭ブロッキングを引き起こし、効率を著しく低下させていました。
拡散事後サンプリングによるゼロショット統計的ダウンスケーリング
本研究は、全球気候モデル（GCM）と再解析データの間にペアとなる訓練データが存在しないという課題を解決するため、再解析データのみで学習可能な「ゼロショット統計的ダウンスケーリング（ZSSD）」を提案した。
テキスト検索モデルのドメイン適応における影響度ガイド付きサンプリング
検索モデルの学習において、膨大で多様なデータセットから最適な訓練データを抽出する戦略は極めて重要ですが、従来の均等サンプリングや専門家の手動設定、あるいは勾配ベースの動的手法には、計算コストの増大や学習の不安定さという課題がありました。
拡散事後サンプリングによるゼロショット統計的ダウンスケーリング
従来の教師あり学習による気候ダウンスケーリングは、全球気候モデル（GCM）と再解析データの間にペアとなる訓練データが存在しないため、異なるモデルへの汎化性能が著しく低いという課題がありました。本研究が提案するZSSDは、再解析データから学習した物理的に一貫性のある気候事前分布と、大規模なスケーリングにおける勾配消失問題を解決する統一座標ガイダンスを組み合わせることで、ペアデータなしでの高精度な復元を可能にしました。検証の結果、ZSSDは既存のゼロショット手法を大幅に上回る精度を達成し、熱帯低気圧のような複雑な気象イベントを、異なる特性を持つ複数の全球気候モデルにわたって一貫して再現することに成功しました。
Zonkey: 微分可能なトークン化と確率的アテンションを備えた階層型拡散言語モデル
Zonkeyは、従来の固定されたトークナイザー（BPE）が抱える非微分性やドメイン適応の困難さを解消するため、生の文字から文書レベルの表現までを完全に微分可能なパイプラインで構築した階層型拡散言語モデルである。
CoFrGeNet: 連分数に着想を得た新しい言語生成アーキテクチャ
IBM Researchの研究チームは、連分数（Continued Fractions）の数学的構造を言語生成モデルに組み込んだ新アーキテクチャ「CoFrGeNet」を提案しました。このモデルは、従来のTransformerにおけるマルチヘッドアテンションやフィードフォワードネットワーク（FFN）を、より少ないパラメータ数で代替可能な連分数コンポーネントへと置き換えることに成功しています。 独自の「コンティニュアント（Continuants）」を用いた計算手法を導入することで、連分数計算のボトルネックであった除算回数を劇的に削減し、学習および推論の効率を飛躍的に向上させました。これにより、計算リソースの消費を抑えつつ、高度な言語生成能力を維持することが可能になります。 GPT2-xlやLlama3を用いた大規模な実験の結果、元のモデルの半分から3分の2程度のパラメータ数でありながら、分類、質疑応答、推論などの多様なタスクにおいて、標準的なTransformerと同等以上の性能をより短い学習時間で達成できることを実証しました。
Zonkey：微分可能なトークン化と確率的アテンションを備えた階層的拡散言語モデル
従来の言語モデルが抱えていた「固定された非微分的なトークナイザー」という制約を根本から解消するため、生の文字から文書レベルの表現までを完全に学習可能な階層型拡散モデル「Zonkey」が提案されました。
RAG-E: 検索器と生成器の整合性を定量化する説明可能性フレームワーク
RAG-Eは、検索拡張生成（RAG）における検索器と生成器の相互作用を数学的に定量化し、システム全体の透明性を向上させるエンドツーエンドの説明可能性フレームワークである。検索器にはIntegrated Gradientsを、生成器にはモンテカルロ法で安定化させたPMCSHAPを適用し、情報の流れを可視化するとともに、検索順位と実際の利用度の乖離を測定する新指標「WARG」を導入した。実証分析の結果、生成器が上位文書を無視したり下位文書に過度に依存したりする深刻な不整合が最大66.7%の割合で確認され、RAGの品質は個々の性能ではなく両者の「整合性」に依存することが判明した。このフレームワークにより、医療や法律といった高い信頼性が求められる分野において、モデルがどの情報を根拠に回答したかを詳細に監査することが可能となり、計算コストの削減やプロンプト設計の最適化に寄与する。