コンプライアンス・パラドックス：自動コード評価における意味と指示の乖離

要約

大規模言語モデルを用いたコード評価において、モデルがコードの論理よりも隠された指示の遵守を優先してしまう「コンプライアンス・パラドックス」を指摘する研究です。攻撃手法SPACIを用いて検証した結果、主要なモデルで95%以上の失敗率が確認されました。これは現在の学習手法が自動採点に脆弱性をもたらしていることを示唆しています。

全文は有料プランで閲覧できます。