ShardMemo: Masked MoEルーティングを用いたエージェント向け分散メモリ管理

要約

エージェント型LLMの長期記憶と並列実行を支える、階層型メモリサービス「ShardMemo」が提案されました。メモリを3層に分け、特にTier BではマスクされたMoEルーティングを用いて、制約に基づき適切なシャードを選択します。これにより、検索精度を向上させつつ、計算コストと遅延を大幅に削減することに成功しました。

全文は有料プランで閲覧できます。