意味的内容がアルゴリズムの性能を決定する

要約

大規模言語モデル（LLM）において、数え上げなどのアルゴリズム的タスクの性能が、入力される単語の意味内容に依存することを明らかにした研究です。新ベンチマーク「WhatCounts」を用いた検証により、対象が都市か化学物質かによって正解率が40%以上変動することが判明しました。

全文は有料プランで閲覧できます。