文脈内学習で教育用図表の生成は改善できるか？ハルシネーションが全てを台無しにする場合を除いて

TL;DR（結論）

教育分野でのAI活用が進む中、図表生成におけるハルシネーションや不適切なレイアウトが学習者へのリスクとなっているため、修辞構造理論（RST）に基づいた新しい文脈内学習（ICL）手法が提案された。 提案手法はテキストの論理構造を分析して最適な例を選択し、図表の論理的組織化や接続性を高めることを目指しており、専門家による150個の図表評価を通じて、事実に関する誤情報の削減と文脈への忠実性の向上が確認された。 しかし、大規模言語モデルの確率的な性質により品質にはばらつきがあり、特に複雑なテキストではハルシネーションの発生率が高まることや、モデル自身が自らの誤りを検出できない限界も明らかになった。

なぜこの問題か

コンピューティング教育において、図表は学習の中心的な役割を果たしており、複雑な概念を視覚的に理解するために不可欠な要素である。しかし、質の高い図表を手動で作成するには多大な時間と労力が必要となるため、生成AIを活用した自動生成への期待が高まっている。現状ではAIが生成した教材の品質には懸念があり、教育者や学生の間で信頼性の問題が指摘されている。特に、AIが事実とは異なる情報を生成するハルシネーションは、学習者にとって重大なリスクとなる可能性がある。先行研究では、GPT-4のような高性能なモデルであっても、タスクによっては3%から86%の割合でハルシネーションが発生することが報告されている。教育現場でAI生成リソースが普及しつつある一方で、その品質の不確実性が大きな課題となっている。図表生成においては、冗長な記述や不適切なレイアウト、そして入力文脈との不一致といった問題が依然として残っている。 本研究は、コンピューティング教育と計算言語学の専門知識を組み合わせることで、自動生成される教育用図表の信頼性を向上させることを目的としている。…

核心：何を提案したのか

本研究では、修辞構造理論（RST）をガイドとして用いた、新しい文脈内学習（ICL）による図表コード生成手法を提案している。RSTはもともとテキストの自動生成のために開発された理論であり、テキストの断片間の階層的な関係を通じて一貫性を説明するものである。この理論を応用することで、モデルの出力をユーザーの期待に沿わせ、図表の品質を向上させることを目指している。具体的には、RST分析を用いて関連性の高い文脈内の例を選択し、それをプロンプトに組み込むことで、図表の論理的な構成を強化する。このアプローチにより、モデルはテキスト内のコヒーレンス関係を視覚化するための手がかりを得ることができ、冗長性の回避や予測可能なレイアウトの実現が可能になる。 研究チームは、RST1とRST2という二つのバリエーションを実装し、これらをベースラインとなるゼロショット（0-shot）生成と比較した。…

続きはログイン/プランで閲覧できます。