最小限の深層学習アーキテクチャの体系的な特性評価：収束、枝刈り、量子化の統一的解析
本研究は、深層ニューラルネットワーク（DNN）、畳み込みニューラルネットワーク（CNN）、およびビジョン・トランスフォーマー（ViT）を対象に、特定のタスクを解決するために必要な「最小限のアーキテクチャ」を特定するための統一的な計算手法を提案し、学習の収束性、枝刈りへの耐性、量子化の堅牢性を体系的に解析した。
Cog AI Archive
最新の記事
エージェントによる超長時間動画理解
スマートグラス等のウェアラブルデバイスが記録する数日間にわたる膨大な一人称視点動画を理解するため、人物・物体・場所とその関係性を時間情報と共に構造化した「エンティティ・シーングラフ（ESG）」を活用する新フレームワーク「EGAgent」が提案されました。
NaVIDA：逆動力学による拡張を用いた視覚言語ナビゲーション
視覚と言語を用いたナビゲーション（VLN）において、行動が視覚的な変化にどのように影響するかという因果関係を明示的にモデル化する新しいフレームワーク「NaVIDA」を提案し、従来のリアクティブな手法が抱えていた不安定な挙動や誤差の蓄積という課題を解決した。
EfficientNetB2を用いた手法によるFER-2013データセットでの顔の表情認識
本研究では、計算資源が限られた環境でも動作可能な顔の表情認識システムを実現するため、EfficientNetB2を基盤とした軽量なモデル構成を提案し、難易度の高いFER-2013データセットを用いてその有効性を検証しました。
TechING: VLMによる実世界の技術的画像理解に向けて
技術的な議論で多用される手書きの図表を、編集可能なMermaidコードへと変換し理解するための大規模データセット「TechING」と、それを用いた学習モデル「LLama-VL-TUG」が提案されました。 11万件超の合成データと545件の実世界の手書き画像を用い、Llama 3.
頑健なマルチモーダル感情推論のためのきめ細かい視聴覚証拠の統合
従来のマルチモーダル大規模言語モデルは、視覚と音声の微細な信号を統合できず、特定のモダリティに偏る「単一モダリティ優位」の問題を抱えていました。 本研究では、60万件の動画クリップからなる大規模データセット「SABER」と、証拠抽出を推論から分離する「構造化証拠分解（SED）」パラダイムを提案しました。
GUIGuard：プライバシー保護型GUIエージェントのための汎用フレームワークに向けて
GUIエージェントが画面情報を外部サーバーへ送信する際の深刻なプライバシー漏洩リスクを解決するため、認識・保護・実行の3段階で構成される汎用フレームワーク「GUIGuard」を提案した。この手法は、機密情報の特定と加工をユーザーのローカルデバイスで行い、加工済みの安全な情報のみを強力なリモートモデルへ送信することで、高度な推論能力とプライバシー保護を両立させるものである。 1万枚以上のスクリーンショットを含む大規模ベンチマーク「GUIGuard-Bench」を構築し、既存の最新モデルでもプライバシー情報の認識精度が極めて低いという深刻な現状を明らかにした。Android環境で13.3%、PC環境で1.4%という結果は、現在のAIが何を守るべきかを正しく判断できていないことを示しており、実用化に向けた最大の障壁が認識精度にあることを浮き彫りにした。 機密情報を隠蔽しつつタスクの実行に必要な意味情報を維持する保護戦略を導入することで、ユーザーのプライバシー保護と自動化タスクの成功を高い次元で両立できることを実証した。本研究は、プライバシー認識の精度向上こそが実用的なGUIエージェント構築における最大のボトルネックであることを示し、信頼できるハイブリッド型サービスの実現に向けた具体的な技術的指針と評価基盤を提供している。
Whisperのエンコーダとデコーダの両方で視覚特徴量を用いる耐雑音性視聴覚音声認識
本研究は、Whisper ASRの騒音耐性を劇的に向上させるため、視覚的特徴量をエンコーダとデコーダの両方に統合する「デュアルユース」手法を提案し、従来の融合手法が抱えていた学習の不安定さや相互作用の欠如という課題を解決した。
幾何学的形態測定学の機械学習への応用におけるプロクラステス汚染について
幾何学的形態測定学（GMM）を機械学習に統合する際、データ分割前に全標本を一括で整列させる標準的な一般化プロクラステス解析（GPA）が、訓練データとテストデータの間に不適切な統計的依存関係を生じさせ、予測精度を不当に高く見積もる「プロクラステス汚染」を引き起こすことを数学的・実験的に解明しました。
3DGesPolicy：アクション制御に基づく音素を考慮した包括的な発話随伴ジェスチャ生成
本研究は、ロボット工学の拡散ポリシー（Diffusion Policy）を応用し、全身の動きと顔の表情を統合的に生成する新しいフレームワーク「3DGesPolicy」を提案した。従来のフレーム単位の回帰や部位分解手法が抱えていた、空間的な不安定さや意味的な不整合という課題を解決するため、ジェスチャー生成を「連続的な軌道制御問題」として再定義し、フレーム間の変化を統一された「アクション」としてモデル化している。さらに、音素レベルの言語情報と音響特徴を高度に融合させるGAP（Gesture-Audio-Phoneme）モジュールを導入することで、発話内容と身体動作、唇の動きが精密に同期した、自然で表現力豊かなデジタルヒューマンの挙動を実現し、BEAT2データセットにおいて既存の最先端手法を上回る性能を実証した。