未知環境における安全な制御のためのコンフォーマル到達可能性

TL;DR（結論）

未知の力学系や確率的な環境下において、システムダイナミクスの完全な知識がなくても、数学的に厳密な「証明可能な安全性」を保証しながら制御を行う新しいフレームワーク「ReCORS」が提案されました。この手法は、統計的な不確実性を定量化する「コンフォーマル予測」と、システムが将来とりうる状態を検証する「到達可能性解析」を組み合わせることで、従来の強化学習が苦手としていた「保証された安全性」と「高い報酬」の両立を実現しています。ドローン制御や自動運転（レーン追従）などを含む4つのドメイン・7つの実験設定において検証され、既存の安全強化学習手法と比較して、最も強力な安全性保証を達成しつつ、高い平均報酬を維持できることが示されました。

なぜこの問題か

自動運転車、ドローン、ロボットアームといった自律システムの制御において、「信頼性」は極めて重要な課題です。特に、人命や高価な機材に関わるような安全性が重視される環境では、システムが絶対に安全な領域を逸脱しないという厳密な保証が求められます。しかし、現状の技術には大きなギャップが存在し、実社会への適用を阻む壁となっています。 第一に、強化学習（RL）の限界が挙げられます。近年、強化学習は自律システムの性能を飛躍的に向上させましたが、その安全性は「日和見的」なものです。多くの場合、安全性は報酬関数の一部（ペナルティ）として組み込まれるだけであり、あくまで「平均的に安全」であることを目指すに過ぎません。学習プロセスは試行錯誤を前提としているため、学習中や、あるいは学習済みであっても未知の状況下において、最悪のケースで事故が起きないという保証はないのです。 第二に、従来の検証手法の限界です。一方で、制御理論に基づく安全性の検証手法（形式手法など）は、システムの力学（ダイナミクス）が完全に既知であるか、決定的であることを前提としている場合がほとんどです。…

核心：何を提案したのか

本論文では、未知の力学系において、累積報酬を最大化しつつ、厳密な確率的安全性保証を持つポリシー（方策）を学習するための新しいアプローチ「ReCORS」を提案しています。このアプローチの核心は、以下の3つの要素の統合にあります。 1. コンフォーマル安全性解析（CSA）の導入: 未知の力学系に対する学習ベースの制御器のために、コンフォーマル予測と到達可能性解析を組み合わせました。コンフォーマル予測は、モデルの予測に対して統計的に有効な「不確実性区間」を提供する手法です。本手法では、未知の初期状態分布に対する分布自由な裾確率限界を拡張することで、厳密な確率的安全性保証を実現しています。これにより、システムがどのような確率分布に従っているかという強い仮定を置くことなく、安全性を議論できるようになります。 2.…

続きはログイン/プランで閲覧できます。