ILRR：マスク型拡散言語モデルのための推論時制御手法
離散拡散言語モデル（DLM）において、推論時に生成内容を制御する新手法「ILRR」が提案されました。これは学習不要なフレームワークで、生成中の内部活性化状態を単一の参照シーケンスに動的に合わせることで、感情などの属性を制御します。計算負荷を抑えつつ、従来手法より高い属性精度と生成品質を両立しています。
Cog AI Archive
最新の記事
人気記事ピックアップ
性能か分散対応か――レイアウト抽象化「Axe」は何を統一しようとしたのか？
TL;DRネイティブな2Dアドレッシングを備えた専用のグローバルテンソルメモリが導入されたとき、論理テンソルをどのように物理空間へ対応づければよいのでしょうか。 Axeレイアウトは、論理インデックスから座標空間への集合値写像としてモデル化され、共有イテレータの順序付きタプル、複製イテレータのマルチセット、およびオフセットで構成されます。 本記事では、Axeが採用するマルチグラニュラリティかつ分散を意識したモデルと、レイアウトの定義・正規化・検証・評価結果を、事実に基づいて順に追います。
ILRR: マスク型拡散言語モデルのための推論時ステアリング手法
離散拡散言語モデル（DLM）の制御を可能にする学習不要なフレームワーク「ILRR」が提案されました。生成過程で内部アクティベーションをリファレンス配列と動的に整合させることで、感情などの高次な意味属性を転送します。計算負荷を抑えつつ、従来手法より属性精度を10〜60%向上させ、高品質なテキスト生成を実現します。
Seg-MoE: 時系列予測のためのセグメント単位の混合エキスパートモデル
本研究は、時系列予測において連続する時間ステップのセグメントを処理単位とする疎な混合エキスパート（MoE）モデル「Seg-MoE」を提案します。従来のトークン単位のルーティングとは異なり、局所的な時間構造を維持することで予測精度を向上させます。複数のベンチマークで従来モデルを凌駕し、最高水準の精度を達成しました。
Seg-MoE: 時系列予測のためのセグメント単位の混合専門家モデル
本研究は、時系列予測Transformerにセグメント単位の混合専門家（Seg-MoE）を導入する手法を提案しています。従来のトークン単位のルーティングではなく、連続する時間ステップのセグメントを処理することで、データの局所性と連続性を活用します。
HeRo-Q: ヘッセ行列の条件付けによる安定した低ビット量子化のための汎用フレームワーク
従来の学習後量子化（PTQ）は、誤差最小化に固執することで損失が増大する課題がありました。本研究が提案するHeRo-Qは、軽量な学習可能回転圧縮行列を用いて損失曲面のヘッセ行列を調整し、量子化ノイズへの耐性を高めます。W3A16設定でも論理的崩壊を防ぎ、Llama3-8Bで高い精度を達成する革新的な手法です。
HeRo-Q: ヘッセ行列の調整による安定した低ビット量子化のための汎用フレームワーク
本研究は、学習済みモデルの量子化において、誤差は小さいが損失が大きくなる問題を解決する「HeRo-Q」を提案します。ヘッセ行列の最大固有値を抑える学習可能な回転圧縮行列を導入し、損失曲面を平滑化することで量子化ノイズへの耐性を高めます。Llama3などの超低ビット量子化で、論理崩壊を防ぎつつ高い精度を達成しました。
深層ニューラルネットワークにおける学習メモリ：メカニズム、エビデンス、および測定のギャップ
深層学習の訓練は履歴に依存しており、最適化手法のモーメントやデータの提示順序、バッチ正規化の統計量などが影響を与えます。本論文は、これらの「トレーニングメモリ」のメカニズムを整理し、因果関係を測定するための手法を提案しています。モデルやデータ間で履歴がどの程度重要かを定量化するプロトコルを確立しています。
深層学習におけるトレーニングメモリ：メカニズム、証拠、および測定のギャップ
現代の深層学習は、オプティマイザの状態やデータの提示順序、バッチ正規化の統計量など、過去の学習履歴に依存する「メモリ」を持っています。本論文は、これらのメカニズムを整理し、因果関係を測定するための新しい手法やチェックリストを提案しています。
オーバースケーリングの呪いを打破する：並列思考の前に並列度を思考する
LLMの推論能力を向上させる「並列思考」において、全問題に一律の並列度を割り当てることで生じる予算の冗長性「オーバースケーリングの呪い」を定義しました。この問題を解決するため、デコード前に各サンプルに最適な並列度を推定する軽量手法「T2」を提案しています。
オーバースケーリングの呪いを打破する：並列的思考の前に並列性を考える
LLMの推論において、全サンプルに一律の大規模な並列処理を適用すると、簡単な問題でも過剰な計算資源を消費する「オーバースケーリングの呪い」が発生する。本研究はこの問題を定式化し、デコード前に各サンプルに最適な並列度を推定する軽量な手法「T2」を提案した。これにより、精度を維持しつつ計算コストを大幅に削減できる。
保存済みの記事がまだありません。
読み込み中…