Transformer推論のためのレート歪み最適化
TL;DRTransformerの推論を複数デバイスで効率的に行うため、中間表現を圧縮するレート歪みベースのフレームワークを提案した研究である。ビットレートと精度のトレードオフを学習するこの手法は、言語ベンチマークにおいて、より複雑なベースライン手法を上回る圧縮率と精度を達成した。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
エントロピーに基づく拡散モデルの次元フリー収束と損失適応型スケジュール
TL;DR拡散モデルの収束解析において、ターゲット分布の幾何学的仮定を置かずに、シャノンエントロピーを用いた次元フリーな新しいアプローチを提案した研究である。ターゲット分布と生成分布間のKLダイバージェンスを評価し、学習損失のみを利用する軽量な「損失適応型スケジュール（LAS）」
Rectified Flowのサンプル複雑度は最適レートを達成：拡散モデルを超える効率性の理論的背景
TL;DR拡散モデルより効率的な生成モデルとして注目されるRectified Flowについて、そのサンプル複雑度が $\tilde{O}(\varepsilon^{-2})$ であることが証明されました。これは従来のFlow Matchingモデルの $O(\varepsilon^{-4})$ を改善し、平均推定の最適レートと一致します。
リドル・クエスト：言葉の謎
TL;DRなぞなぞ（Riddles）は、間接的で比喩的な手がかりを通じて対象を表現する言語パズルです。本研究では、類推に基づくなぞなぞを作成・評価するシンプルなパイプラインを提案しています。大規模言語モデル（LLM）が意図された答えだけでなく、他の妥当な解釈も網羅できるかを検証し、推論のカバー範囲や曖昧性の処理能力を測るツールとしてのなぞなぞの有用性を強調しています。
不整合に耐性のあるモデル駆動型可逆圧縮アルゴリズム
TL;DRLLMのような予測モデルを用いた圧縮は高性能ですが、エンコーダとデコーダ間の出力分布の不一致（非決定性）に弱いという課題があります。本研究では、構造化された任意の大きさの予測ミスマッチに対して堅牢な、次のトークン予測に基づく新しい圧縮アルゴリズムを提案し、その正当性と性能を実証しました。
保存済みの記事がまだありません。
読み込み中…