EWSJF: 混合ワークロードLLM推論のためのハイブリッド分割型適応スケジューラ

要約

LLM推論において、短く遅延に敏感なクエリと長くスループット重視のバッチ処理が混在する状況は、スケジューリングの課題を生みます。本研究では、ワークロード構造をリアルタイムで学習し、公平性とスループットを向上させる適応型スケジューラ「EWSJF」を提案します。

全文は有料プランで閲覧できます。