EWSJF: 混合ワークロードのLLM推論に向けたハイブリッド分割による適応型スケジューラ

要約

LLM推論において、短時間の対話型クエリと長時間のバッチ処理が混在する際の遅延と効率低下を解決する新手法「EWSJF」が提案されました。この手法は、ワークロードの構造をリアルタイムで学習し、リクエストを動的にグループ化して優先順位を付けます。vLLMへの実装により、スループットを30%向上させ、短時間リクエストの応答時間を最大4倍高速化しました。

全文は有料プランで閲覧できます。