HELM：LLM駆動型推薦システムのための人間中心の評価フレームワーク

要約

大規模言語モデル（LLM）を組み込んだ推薦システム向けに、人間中心の包括的な評価フレームワーク「HELM」が提案されました。従来の精度指標では捉えきれない、意図の整合性や説明の質など5つの次元でシステムを評価します。実験により、GPT-4は説明や対話の自然さで優れる一方、人気バイアスが強いことが明らかになりました。

全文は有料プランで閲覧できます。