「より良い」プロンプトが逆効果になる時：LLMアプリのための評価主導型反復プロセス

要約

LLMアプリ開発における評価主導型ワークフロー（定義、テスト、診断、修正）と、推奨評価セットであるMVESを提案する研究である。実験では、一般的に「改良された」とされるプロンプトが、特定のタスク（抽出やRAG準拠）の性能を低下させるトレードオフが確認された。万能なプロンプトではなく、評価に基づいた反復改善の重要性を示している。

全文は有料プランで閲覧できます。