LVLMと人間における参照的コミュニケーションの基盤化（グラウンディング）の違い
TL;DR生成AIが人間と効果的に協働するには意図予測が重要ですが、共通認識（コモングラウンド）のモデル化能力の欠如が制限要因となっています。本研究は、人間とAI（LVLM）の組み合わせによる対話実験を行い、LVLMが参照表現を対話的に解決する能力、特に基盤化（グラウンディング）において人間に劣るという限界を明らかにしました。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
GhostUI：モバイルUIにおける隠されたインタラクションを明らかにする
TL;DR最近のモバイルアプリに多い「隠されたインタラクション（長押しやスワイプなど、視覚的手がかりのない操作）」を検出するための新データセット「GhostUI」が提案されました。このデータセットで微調整された視覚言語モデル（VLM）は、隠れた操作の予測や操作後の画面推論において、ベースラインを上回る性能を示しました。
意味的ガイダンスを通じたUI生成における隔たりの架橋
TL;DR生成AIによるUI作成において、ユーザーが意図を言葉にする難しさと結果を評価する難しさという2つの溝が存在します。本研究では、UIプロンプトのガイドライン分析からデザインの意味論（セマンティクス）を階層的に整理し、それを中間表現として利用するシステムを開発しました。これにより、ユーザーの制御性と結果の解釈可能性が向上することが確認されました。
回答者からデザインメンターへ：認知的徒弟制モデルによるLLMの指導
TL;DRChatGPTなどのLLMが提供する一般的なデザインフィードバックの限界に対し、LLMを「答えを与える存在」ではなく「デザインメンター」として機能させる手法を提案する研究です。「認知的徒弟制モデル」に基づいたプロンプト設計を行うことで、ユーザーの深い思考や振り返りを促すフィードバックが可能になることを実証しました。
感情をMEGで拡大する：注釈付き脳データからの感情分析
TL;DR脳活動から感情を解読するため、既存のMEGデータセットに新たな手法で感情ラベルを付与する研究です。オーディオブック聴取時の脳波データに対し、テキストから感情を推定するモデルを用いてラベル付けを行いました。このラベルで学習させたモデルは、脳活動から直接感情を読み取る精度においてベースラインを上回りました。
LLMを活用したインタラクティブ・ストーリーテリングのための設計手法：Dramamancerシステムの事例研究
TL;DR大規模言語モデル（LLM）の台頭により、インタラクティブな物語において作者の意図とプレイヤーの自由度を橋渡しする新たなパラダイムが可能になりました。本稿では、作者が作成した物語のスキーマをLLMを用いてプレイヤー主導のプレイ体験へと変換するシステム「Dramamancer」の事例を通じ、その設計手法と評価に関する考察を概説します。
優れた文章は生成可能か？高品質な書籍でのファインチューニングによる専門家レベルのAIライティングの創発
TL;DRクリエイティブな執筆における人間とAIの能力差を検証するため、28名のMFA（美術学修士）作家と3つのLLMが、著名作家50名の文体模倣で競った。専門家による評価では、プロンプト入力のみのAIよりも人間の文章が好まれたが、全著作でファインチューニング後のAIは62%の割合で人間に勝利した。一般読者は一貫してAIを支持した。
PaperTok：研究コミュニケーションのための短編動画制作における生成AIの活用に関する探求
TL;DRPaperTokは、研究者が論文を魅力的で親しみやすいショート動画へ変換するのを支援するエンドツーエンドの生成AIシステムです。科学コミュニケーターとの事前調査を基に設計され、台本案や視聴覚コンテンツの自動生成により創造的な初期作業を自動化します。ユーザー調査とクラウドソーシング評価により、その有効性と改善点が確認されました。
チャットボット利用時におけるユーザーのプライバシーに関する推論と行動の理解：プライバシーにおける有意義な主体性の支援に向けて
TL;DRチャットボット利用中のユーザーが、どのように機密情報を扱い、保護行動を取るかを定性的に調査した研究です。プライバシー通知パネル（情報の強調表示や匿名化機能を提供）を備えた模擬ChatGPTを使用し、パネルがユーザーのプライバシー意識や文脈に応じた判断をどう支援するかを分析しました。
静的データセットを超えて：検証済み合成遷移によるロバストなオフライン方策最適化
TL;DR産業用ロボット等の安全性が重要な分野で期待されるオフライン強化学習（ORL）において、静的データセットと学習済み方策間の分布シフトの問題に対処する「MoReBRAC」を提案。モデルベースの不確実性認識による合成データ生成と、VAEやMCドロップアウトを用いた多層フィルタリングで高信頼な遷移のみを学習に利用し、D4RLベンチマークで性能向上を達成した。
保存済みの記事がまだありません。
読み込み中…