大規模言語モデルによるビジネスプロセスモデリング能力の評価

TL;DR（結論）

ビジネスプロセスモデリング（BPMN）における大規模言語モデル（LLM）の能力を客観的に評価するため、39個の指標を用いた新しい評価フレームワーク「BEF4LLM」が開発されました。17種類のオープンソースLLMを対象とした大規模なベンチマーク調査により、LLMは構文や実用性の面で優れた成果を出す一方で、意味論的な正確性や有効なXML形式の生成には依然として課題があることが判明しました。特に、モデルの規模が必ずしもモデリング品質の向上に直結しないという結果は、今後のLLMの選択や特定のタスクに向けた微調整において、パラメータ数以外の要素を重視すべきであることを示唆しており、LLMが専門家と同等のモデルを作成できる可能性を示しつつ、実用化に向けた具体的な改善点を明確にしました。

なぜこの問題か

ビジネスプロセスを標準化された形式で記述するBPMN（Business Process Model and Notation）の作成は、組織の分析、コミュニケーション、および自動化において極めて重要ですが、非常に複雑で時間のかかる作業です。この作業には、対象となる業務ドメインの深い知識だけでなく、モデリングの規約や構文、意味論に対する高い習熟度が求められます。しかし、このような専門知識を持つ人材は世界的に不足しており、高品質なBPMN図を作成することは常に高い認知負荷を伴う課題となってきました。これまでの研究では、自然言語の記述からプロセスモデルを自動生成する試みが行われてきましたが、生成されたモデルの品質を体系的かつ客観的に評価する手法が確立されていませんでした。 既存の評価手法の多くは、LLM自身に評価を任せる「LLM-as-a-judge」アプローチを採用しているか、あるいは確立されたモデル品質の次元を十分に考慮していないという問題がありました。…

核心：何を提案したのか

本研究の最大の貢献は、LLMが生成したBPMNモデルを評価するための専用フレームワーク「BEF4LLM（BPMN Evaluation Framework for LLMs）」を提案したことです。このフレームワークは、既存の「SIQ（Simple, Integrated, Quality）」フレームワークを基礎として構築されており、BPMNモデルの品質を「構文的品質（Syntactic quality）」、「実用的品質（Pragmatic quality）」、「意味論的品質（Semantic quality）」、そして「妥当性（Validity）」という4つの主要な視点から評価します。合計39個の具体的な指標を統合することで、モデルの複雑さ、構造の正しさ、ラベルの適切さ、そして元の記述との整合性を多角的に数値化することが可能になりました。…

続きはログイン/プランで閲覧できます。