AACR-Bench: 包括的なリポジトリレベルのコンテキストを用いた自動コードレビューの評価

要約

大規模言語モデル（LLM）を用いた自動コードレビューの評価に向け、既存の問題を解決する「AACR-Bench」が登場した。複数言語対応とリポジトリ全体のコンテキスト提供に加え、AIと専門家による検証で欠陥検出率を285%向上させた。実験ではコンテキスト粒度や検索手法の影響が明らかになり、評価基準の厳格化に成功した。

全文は有料プランで閲覧できます。