ShardMemo：シャード化されたエージェント的LLMメモリのためのマスクされたMoEルーティング

要約

ShardMemoは、エージェント型LLM向けの予算制約付き階層型メモリサービスです。情報を3つの層に分類し、特にTier BではマスクされたMixture-of-Experts（MoE）ルーティングを用いて、制約に基づき適切なシャードを選択します。従来手法と比較して、検索効率の向上と低遅延を実現しつつ、高い回答精度を達成しています。

全文は有料プランで閲覧できます。