RedSage: サイバーセキュリティに特化した汎用LLM

TL;DR（結論）

RedSageは、11.8Bトークンの専門データを用いた継続事前学習と、エージェントによる266K件の高品質な対話データ拡充を組み合わせ、サイバーセキュリティ領域に特化したオープンソースの8Bパラメータモデルである。 独自のベンチマーク「RedSage-Bench」を含む広範な評価において、既存のセキュリティ特化モデルや汎用モデルを最大5.59ポイント上回る性能を達成し、専門的な知識と汎用的な推論能力を高い次元で両立させた。 データ収集から学習パイプライン、評価手法までを完全に公開することで、組織が機密情報を外部に送信することなくローカル環境で安全に運用できる、透明性と実用性を兼ね備えた次世代のセキュリティ支援AI基盤を提案した。

なぜこの問題か

現代のサイバーセキュリティにおける脅威は、攻撃手法の高度化や持続的標的型攻撃（APT）の増加により、かつてないほど複雑化している。組織は脅威分析、インシデント対応、脆弱性管理、セキュリティ監視といった多岐にわたる業務を遂行する必要があるが、これらには高度な専門知識と多様なツールの習熟が不可欠である。しかし、世界的なサイバーセキュリティ人材の不足は深刻な社会課題となっており、数百万規模の求人が未充足であると推定されている。このような背景から、人間のアナリストを補助し、業務を効率化するサイバーセキュリティ特化型の大型言語モデル（LLM）への期待が急速に高まっている。 既存の解決策には、主に二つの大きな技術的・構造的な課題が存在する。第一に、GPT-4などの商用APIを利用するモデルは、組織の機密データや未公開の脆弱性情報を外部サーバーに送信する必要があり、これが深刻なプライバシーリスクや情報漏洩の懸念を引き起こしている点である。第二に、既存のオープンソースモデルは、特定のドメインに対する適応が不十分であるか、あるいは特定のタスクに偏った学習がなされている点である。…

核心：何を提案したのか

本研究では、サイバーセキュリティの全領域をカバーする汎用的な支援AIとして「RedSage」を提案した。RedSageは、大規模な継続事前学習（CPT）、エージェントによるデータ拡充を用いた教師あり微調整（SFT）、そして直接選好最適化（DPO）を統合した、データ中心の高度なパイプラインによって構築されている。最大の特徴は、単なる知識の蓄積にとどまらず、攻撃手法の深い理解や複雑なツールの操作能力を統合的に学習させている点にある。これにより、特定のタスクに限定されない「ジェネラリスト」としての能力を獲得している。 具体的には、まず11.8Bトークンに及ぶサイバーセキュリティ特化型のコーパスを構築し、モデルの基礎となる専門知識を大幅に強化した。…

続きはログイン/プランで閲覧できます。