リドル・クエスト：言葉の謎

TL;DR（結論）

本研究は、類推に基づくなぞなぞを自動生成し、大規模言語モデルの推論能力や曖昧さの処理能力を多角的に評価するための新しいパイプライン「リドル・クエスト」を提案している。 システムは対象概念を構造化データとして捉え、属性分類を経て五つの多様なスタイルで問題を生成するが、検証の結果、最新の言語モデルであっても比喩的表現における正解の網羅的な特定には大きな課題があることが判明した。 なぞなぞは、人工知能の抽象化能力や多段階の推論を測定するための軽量かつ有効なマイクロベンチマークとして機能し、単なる正誤判定を超えてモデルが持つ知識の広がりと解釈の深さを定量的に評価する重要なツールとなる。

なぜこの問題か

なぞなぞは、対象となる物体や概念を、間接的、比喩的、あるいは遊び心のある手がかりを通じて表現する簡潔な言語パズルである。解答者は提示されたヒントを解釈し、パターンを認識した上で、隠された意味を導き出すための高度な推論を行わなければならない。このように、なぞなぞは創造性と論理的推論が自然に融合した形式であり、人間にとっては古くから親しまれてきた知的な表現形態である。しかし、計算機によるなぞなぞの自動生成という観点では、これまでのシステムは手作業で作成されたテンプレートや固定のルールに依存するものが多く、生成される問題のバリエーションが乏しいという課題があった。また、既存の教育向けシステムは特定の領域に限定された知識を用いることが多く、広範なジャンルや抽象的な概念を扱う汎用性に欠けていた。 現代の人工知能、特に大規模言語モデルが汎用人工知能（AGI）へと進化する過程において、比喩や類推を扱う能力は極めて重要な要素として注目されている。類推は人間知能の中核をなす能力であり、未知の概念を既知の概念との関係性から理解することを可能にする。…

核心：何を提案したのか

本研究の核心は、類推に基づくなぞなぞを生成し、その解答の網羅性を評価するための、高度にモジュール化された新しいパイプライン「リドル・クエスト」の提案にある。このシステムは、特定の教育用オントロジーに依存していた従来の手法とは異なり、オープンな領域の概念知識を活用することで、物理的な物体から抽象的な概念までを自在に扱えるよう設計されている。提案されたパイプラインは、対象概念の構造化、属性の抽出、スタイルの適用、そして解答の検証という四つの主要なプロセスで構成されている。これにより、単なるテンプレートの流用ではなく、概念の意味的な特徴に基づいた創造的な問題作成が可能となった。 具体的には、記述的、比喩的、詩的、ユーモラス、そしてシチュエーション重視といった五つの異なるジャンルでの生成をサポートしている。…

続きはログイン/プランで閲覧できます。