表現のアンラーニング：情報圧縮による忘却
機械学習モデルから特定のデータを忘却させる手法として、モデルのパラメータを直接修正するのではなく、内部の表現空間で情報を変換する「Representation Unlearning」という新しい枠組みが提案されました。
Cog AI Archive
最新の記事
表現のアンラーニング：情報圧縮による忘却
機械学習モデルから特定の学習データの情報を削除するマシンアンラーニングにおいて、従来のモデルパラメータを直接変更する手法は計算コストや不安定さが大きな課題であったが、本研究ではモデルの内部表現空間で直接忘却を行う表現アンラーニングという新しい枠組みを提案している。
FlexCausal: 構造的フロー事前分布と多様体認識型介入による柔軟な因果もつれ解消
FlexCausalは、従来の因果もつれ解消学習が抱えていた「ガウス分布への過度な依存」と「潜在変数の独立性に関する制約」を打破するために提案された新しいフレームワークであり、ブロック対角共分散行列を持つVAEと正規化流（Normalizing Flows）を組み合わせることで、複雑な実世界のデータ構造をより正確に捉えることを可能にしています。 この手法では、外生ノイズに対して柔軟な密度推定を行うフローベースの事前分布を導入し、さらに潜在空間内での介入がデータの幾何学的構造（多様体）に沿うように制御する多様体認識型介入戦略を採用することで、構造方程式に矛盾しない高品質な反事実的画像の生成を実現しています。 合成データセット「Filter」を用いた検証および実世界のデータセットを用いた実験において、提案手法は既存の因果表現学習モデルを上回る性能を示しており、特に非ガウス的な統計特性を持つ因果因子の分離や、介入による影響の正確な伝播において顕著な効果を発揮することが確認されています。
FlexCausal：構造的フロー事前分布と多様体認識介入による柔軟な因果もつれ解消
FlexCausalは、複雑な実世界の因果関係を正確に抽出するために開発された、新しい因果もつれ解消表現学習（CDRL）のフレームワークである。従来のモデルが抱えていた「外生変数のガウス分布仮定」と「潜在変数の独立性仮定」という二つの制約を、正規化フローを用いた柔軟な密度推定とブロック対角共分散構造の導入によって打破している。さらに、データの幾何学的構造を考慮した多様体認識型の介入戦略と反事実的一貫性損失を組み合わせることで、構造的に正しく、かつ視覚的に高品質な反事実的画像の生成を可能にした。これにより、従来の因果VAEでは困難であった、非ガウス的なノイズを含む複雑なシステムにおける因果推論と、データの多様体を維持した高品質な画像編集の両立を実現している。
再帰型スパイキングニューラルネットワークの勾配不要最適化に向けた信号適応型信頼領域法
1. 再帰型スパイキングニューラルネットワーク（RSNN）の強化学習において、個体群ベースの勾配推定に伴うノイズと不安定さを解消するため、推定された信号エネルギーに基づいて更新幅（KLダイバージェンス）を動的に調整する「信号適応型信頼領域法（SATR）」を開発した。 2.
再帰型スパイキングニューラルネットワークの勾配不要な最適化のための信号適応型信頼領域法
再帰型スパイキングニューラルネットワーク（RSNN）は、エネルギー効率に優れた制御ポリシーとして期待されていますが、高次元かつ長期的な強化学習タスクにおける訓練の不安定さが大きな課題となっていました。
深層再帰アテンション混合：潜在的推論にふさわしい注目を
従来の思考連鎖（CoT）が抱える離散的な言語化の制約と計算コストの問題を、深層再帰とアテンション混合を統合した「Dreamer」フレームワークによって、潜在空間での効率的な多段階推論へと転換し、モデルの表現力を大幅に向上させた。
深層再帰的アテンション混合：潜在的推論に、それに値するアテンションを
従来の思考の連鎖（CoT）は自然言語による冗長な出力を必要とし、計算コストが高いという課題があったが、本研究ではモデルの深さ方向で再帰的に計算を行う「深層再帰（DR）」を用いることで、潜在空間内での効率的な推論を実現する新しいフレームワーク「Dreamer」を提案している。
Scalable Power Sampling: 分布の鋭敏化によるLLMの効率的かつ学習不要な推論の実現
大規模言語モデルの推論性能を向上させる強化学習は、本質的には新しい能力の獲得ではなく、既存の分布を鋭敏化するプロセスであるという仮説に基づき、外部報酬や追加学習を一切必要とせずに推論能力を引き出す新しいサンプリング手法が提案されました。
Scalable Power Sampling: 分布の先鋭化によるLLMの効率的かつ学習不要な推論の実現
大規模言語モデルの推論性能を向上させる強化学習（RL）の効果は、新しい能力の獲得ではなく、既存のモデル内に潜在する分布を先鋭化させることに起因するという見方が強まっており、外部報酬や追加学習なしでこの効果を再現する手法が求められています。