意味内容がアルゴリズムの性能を決定する

要約

大規模言語モデル（LLM）が実行するアルゴリズムの性能は、入力される情報の意味内容に依存することが明らかになりました。新ベンチマーク「WhatCounts」を用いた調査の結果、最新モデルでも数える対象が都市か化学物質かによって正解率が40%以上変動します。これはLLMが純粋なアルゴリズムではなく、入力の意味に依存した近似を行っていることを示唆しています。

全文は有料プランで閲覧できます。