論文検索 新着 人気 料金
運営: Cognitive Research Labs(CRL) crl.co.jp
毎日更新

SuperInfer:スーパーチップ上でのLLM推論を最適化するSLO認識型スケジューリングとメモリ管理

要約

LLM推論において、限られたGPUメモリと厳しい遅延SLO(サービスレベル目標)の両立は課題でした。SuperInferは、NVIDIA GH200等のスーパーチップ向けに設計された推論システムです。


全文は有料プランで閲覧できます。

Unlock

全文は有料プラン限定です

ログインして試す

Pro

深掘りチャットで“理解の履歴”を残す

プランを見る

Proなら長文回答とスレッド保存で、論文ごとの知識DBを作れます。

Related

次に読む