CUBO：16GB RAMの一般向けノートPCで動作する自己完結型RAGプラットフォーム

TL;DR（結論）

CUBOは、16GBの共有メモリを搭載した一般的なノートPCで動作するように設計された、自己完結型の検索拡張生成（RAG）プラットフォームであり、クラウドベースのAIが抱えるGDPR違反のリスクを回避しつつ、通常は18〜32GBのRAMを必要とするローカルRAGシステムを、15.5GBという厳しいメモリ制限内で実現している。 技術的な核心は、メモリ使用量を一定に保つストリーミング・インジェクション、HNSWとIVFPQを組み合わせた階層型ハイブリッド検索、そしてハードウェアの状態を検知してモデルのライフサイクルを管理するオーケストレーションにあり、これにより10GB規模の文書群に対しても、185ミリ秒という低遅延での検索と、BEIRベンチマークにおける高い再現率を両立させている。 外部データベースやAPIに依存しないオフライン専用設計を採用しており、データの最小化原則に沿ったプライバシー保護を重視する専門的なアーカイブ管理に適しており、37,000行に及ぶコードベースは公開されており、リソースが限られた環境でも、高度な言語モデルを用いた情報検索と回答生成を単一のデバイスで完結させることが可能である。

なぜこの問題か

組織が機密性の高い文書を扱う際、クラウドベースのAIサービスを利用することは、欧州の一般データ保護規則（GDPR）に抵触するリスクを伴う。特に、データの最小化原則（GDPR第5条(1)(c)）を遵守するためには、外部へのデータ送信を一切行わないローカル環境での処理が理想的である。しかし、プライバシーを保護するためにローカル環境で検索拡張生成（RAG）システムを構築しようとすると、既存の主要なソリューションでは通常18GBから32GB以上のRAMが要求される。多くの一般的なビジネス用ノートPCは16GBの共有メモリしか搭載しておらず、これがローカルRAGの導入における大きな障壁となっていた。 既存の主要なシステムであるLightRAGやGraphRAG、LlamaIndex、PrivateGPTなどは、外部データベース（Neo4jなど）を必要としたり、18GB以上のメモリ消費を前提としていたりする。例えば、10GBのコーパスを評価する場合、LightRAGは32GB以上、PrivateGPTは20GBから28GBのRAMを必要とする。…

核心：何を提案したのか

CUBOは、極限のハードウェア制約と法的制約の下で動作する、システム指向のRAGプラットフォームである。その新規性は、個別のコンポーネントの改良ではなく、ストリーミング・インジェクション、階層型ハイブリッド検索、ハードウェア対応のオーケストレーションを統合したシステムレベルの革新にある。開発されたコードベースは合計37,000行に及び、そのうち12,310行がリソースを意識した実行ロジックに割かれている。…

続きはログイン/プランで閲覧できます。