ChipBench: AIチップ設計におけるLLM性能を評価する次世代ベンチマーク

要約

既存のベンチマークが飽和し、実際の産業ワークフローを反映できていない課題に対し、本研究は「ChipBench」を提案します。Verilog生成、デバッグ、参照モデル生成の3つの重要タスクを網羅し、複雑な階層構造を持つ44のモジュールを含みます。最新モデルでも低スコアに留まる難易度の高い評価基盤を提供します。

全文は有料プランで閲覧できます。