認知的に多様な多肢選択式問題生成：大規模言語モデルを用いたハイブリッド型マルチエージェントフレームワーク

TL;DR（結論）

ReQUESTAは、大規模言語モデル（LLM）とルールベースの仕組みを組み合わせたハイブリッドなマルチエージェントフレームワークであり、テキスト想起、推論、主旨把握という異なる認知レベルの多肢選択式問題を系統的に生成します。 専門化されたエージェントが計画、制御、生成、評価、後処理という各工程を分担することで、単一のプロンプトによる生成よりも高い信頼性と制御性を実現し、教育的な測定に適した高品質な問題セットを構築することが可能です。 学術的な説明文を用いた検証の結果、GPT-5のゼロショット生成と比較して、心理統計学的な難易度と識別力において明確な優位性を示し、専門家評価でも選択肢の質や概念的整合性が極めて高いことが客観的に証明されました。

なぜこの問題か

教育の現場において、多肢選択式問題（MCQ）は学習者の理解度を効率的に評価し、迅速なフィードバックを提供するための不可欠なツールとして広く活用されています。MCQは、問いを提示するステム、唯一の正解、そして「ディストラクター」と呼ばれる説得力のある誤選択肢で構成されており、客観的な採点と詳細な項目分析を可能にします。しかし、高品質なMCQを設計することは、教育の専門家にとっても非常に労力を要する作業です。特に、正解が唯一の正当な選択肢であることを保証しつつ、誤選択肢が学習者の理解不足を的確に突くような「もっともらしさ」を備えていなければならないという、構造的かつ機能的な制約を同時に満たす必要があります。 近年の大規模言語モデル（LLM）の急速な進歩により、問題生成の自動化は現実味を帯びてきましたが、依然として深刻な課題が残されています。既存のLLMは、テキストに明示された事実をそのまま問うような、低次の認知スキルを必要とする問題の作成には一定の成果を上げています。…

核心：何を提案したのか

本研究では、認知的に多様な多肢選択式問題を生成するためのハイブリッド・マルチエージェント・フレームワークである「ReQUESTA（Reading Question-generation Using Educational Smart Text Agents）」を提案しています。ReQUESTAの最大の特徴は、MCQの作成という複雑なタスクを、専門化された複数のサブタスクに分解し、LLMを搭載したエージェントとルールベースのコンポーネントを協調させて実行する点にあります。このフレームワークは、単一のパスで問題を生成するのではなく、計画、実行、評価、修正という一連のプロセスを体系的に管理する「学習エンジニアリング」のアプローチを採用しています。 ReQUESTAがターゲットとするのは、「テキストベース（想起）」、「推論（インファレンシャル）」、「主旨（統合）」という3つの異なる認知レベルの問題です。…

続きはログイン/プランで閲覧できます。