RedSage: サイバーセキュリティに特化した汎用LLM
RedSageは、11.8Bトークンの専門データを用いた継続事前学習と、エージェントによる266K件の高品質な対話データ拡充を組み合わせ、サイバーセキュリティ領域に特化したオープンソースの8Bパラメータモデルである。
Cog AI Archive
最新の記事
ニューラルネットワーク学習のための自動的な安定性と回復
現代のニューラルネットワーク学習は非常に脆弱であり、稀に発生する深刻な不安定な更新が、回復不能な発散や静かな性能低下を引き起こすことが大きな課題となっている。既存の最適化手法は主にオプティマイザ内部に組み込まれた予防的なメカニズムに依存しており、一度不安定性が生じるとそれを検知して回復する能力が限られているため、計算資源の浪費や実験結果の不確実性を招く要因となっている。 本研究では、最適化を制御された確率過程として扱う監視型の実行時安定性フレームワークを提案し、バリデーションプローブなどの二次的な計測信号から導出される「イノベーション信号」を分離して利用することで、基底となるオプティマイザを変更することなく不安定な更新の自動検知と回復を可能にした。このフレームワークは、提案された更新が安定した学習動態と一致するかを評価し、異常が検知された場合には更新を拒否して以前の正常な状態へとロールバックする。 理論的には、有界な劣化と回復を定式化した実行時の安全保証を提供し、ResNet-18やTransformerを用いた実験において、標準的なパイプラインが失敗するような壊滅的な更新からも迅速に回復し、学習の発散を抑制して堅牢性を向上させることを実証した。この実装はメモリ制約のある環境にも対応しており、計算オーバーヘッドを最小限に抑えつつ、既存の多様なオプティマイザと組み合わせて使用できる実用的な制御レイヤーとして機能する。
SpatialMath: 数学的な問題解決のための空間理解を注入した記号推論
マルチモーダル中小規模言語モデル（MSLM）が幾何学問題で直面する、視覚的理解と論理的推論の乖離を解消するため、空間情報を記号的推論鎖に統合する新フレームワーク「SpatialMath」が提案されました。
PEARL：デジタルガバナンス通信システムの実装から得られた洞察に基づく、ラベル効率の良い表現学習のためのプロトタイプ強化型アライメント
デジタルガバナンス等の実運用システムでは、固定された埋め込み表現の近傍構造が不正確で誤った事例を検索してしまう課題があるが、本研究が提案するPEARLは、限られたラベル情報を用いて埋め込みをクラスプロトタイプに軟らかく整列させることで、次元数を維持したまま近傍の幾何学的構造を劇的に改善する。
大文字にするかしないか：学習型スパース検索における実証的研究
学習型スパース検索（LSR）において、従来主流だった小文字限定（uncased）モデルに対し、最新の言語モデルで一般的な大文字・小文字区別（cased）モデルが与える影響を調査した結果、標準状態では検索精度が大幅に低下することが判明した。
AI時代における統計学の「再構築」：文化、インフラ、トレーニングに関するタウンホール・ディスカッション
2024年の合同統計会議（JSM）で開催された討論会では、AIや大規模言語モデルの急速な進展に対応するため、統計学を「エンドツーエンドのデータサイエンス・エコシステム」として再定義する必要性が提言されました。
独立でない完全分散データに対するワンショット連合クラスタリング
連合学習におけるクラスタリングにおいて、データが複数のクライアントに断片化して分布し、粒度が一致しない「Non-ICD（非独立完全分散）」という新たな課題を定義し、既存手法がこの状況下で大幅に精度を低下させることを明らかにしました。
EuleroDec：効率的かつ堅牢な音声符号化のための複素数値RVQ-VAE
EuleroDecは、音声の振幅と位相の結合を保持するために、分析から量子化、合成までの全工程を複素数値で処理する初のエンドツーエンド音声コーデックである。 敵対的学習（GAN）や拡散モデルによる後処理を一切使用せず、従来のモデルと比較して学習時間を約95%削減しながら、未知のデータに対しても高い堅牢性と再現性を実現している。 24kHzの音声を6kbpsおよび12kbpsで符号化し、特に位相の正確さを測る指標や波形の忠実度において、従来の主要なニューラルコーデックを上回る最先端（SOTA）の性能を達成した。
期待信号の橋渡し：LLMに基づく実験と行動カルマンフィルターの枠組み
大規模言語モデル（LLM）を家計や企業の最高経営責任者（CEO）といった経済主体として扱い、個人の所得変化（ミクロ信号）と国全体の経済成長（マクロ信号）をどのように統合して将来予測を行うかを、新たに提案した「行動カルマンフィルター（BKF）」を用いて定量化した。
マルチモーダルディープフェイク検出のためのConLLMを用いた真実の解明
生成AIの進化により、音声と映像を組み合わせた高度なディープフェイクが社会的な脅威となっていますが、従来の検出手法は各要素を個別に処理するため、要素間の微細な矛盾を見逃す「モダリティの断片化」や「浅い相互推論」という課題を抱えていました。