Qwen3-ASR テクニカルレポート
Qwen3-ASRは、52の言語と方言に対応する1.7Bおよび0.6Bの音声認識モデルと、11言語に対応した世界初のLLMベース非自己回帰型強制アライメントモデルで構成される強力な製品群である。
Cog AI Archive
最新の記事
LLMの創造的タスクにおけるモデル内およびプロンプト間の変動分析
大規模言語モデル（LLM）の創造的出力における分散を詳細に分析した結果、出力の質である「独創性」についてはプロンプトが36.43％、モデルの選択が40.94％の影響力を持ち、両者が同等に重要であることが判明した。 一方で出力の量である「流暢性」については、モデルの選択が51.
Ostrakon-VL：飲食・小売店向けドメインエキスパートMLLMに向けて
飲食・小売店舗（FSRS）の現場では、監視カメラのノイズや複雑な推論要求により汎用モデルの性能が低下するという課題がありましたが、本研究ではQwen3-VL-8Bを基盤としたドメイン特化型モデル「Ostrakon-VL」を開発しました。
自己改善型事前学習：事後学習済みモデルを用いた、より優れたモデルの事前学習
大規模言語モデルの安全性や事実性を根本から高めるため、従来の次単語予測に代わり、事後学習済みの強力なモデルを「判定役」および「書き換え役」としてループに組み込み、強化学習を用いてシーケンス単位で最適化する「自己改善型事前学習」を提案している。
協調学習のための動的フレームワーク：適応型フィードバック機構を備えた高度なLLMの活用
本研究では、高度な大規模言語モデルであるGPT-4oを動的なモデレーターとして統合し、リアルタイムでの議論促進と学習者のニーズへの適応を可能にする新しい協調学習フレームワークを提案しました。検索拡張生成（RAG）技術と多層的なフィードバック機構を組み合わせることで、従来の静的なシステムでは困難だった参加者間の公平な関与の促進や、文脈に応じた柔軟なプロンプト調整を実現しています。FairytaleQAデータセットを用いた検証により、学生のエンゲージメント向上や批判的思考の育成、さらには多様な学習環境におけるスケーラビリティと包括的な教育体験の提供が確認されました。
デノイジングの視点から拡散モデルの記憶を制御する手法の提案
拡散モデルの学習において、タイムステップを一様にサンプリングすると信号対雑音比（SNR）の変動により学習の寄与が不均衡になり、特定の訓練データを過度に再現する「記憶」が生じる問題を、デノイジングの動態を重視する視点から解明した。
RLHFにおける頑健な報酬モデリングのための因子分解因果表現学習
人間からのフィードバックを用いた強化学習（RLHF）において、報酬モデルが回答の長さや追従的な表現といった「偽の相関」を学習し、不当に高い報酬を得ようとする報酬ハッキングが生じる課題に対し、因果的な視点から表現を分解する新手法「CausalRM」を提案した。
分離型LLMサービングにおける理論的に最適なAttention/FFN比率
大規模言語モデルの推論効率を最大化するため、状態を持つAttention層と計算集約的なFFN層を分離して実行するAFDアーキテクチャにおいて、両者の最適なリソース配分比率を決定する理論的枠組みが構築された。
BEAP-Agent：GUIエージェントのためのバックトラック可能な実行と適応的プランニング
従来のGUIエージェントは、一度誤った操作を行うと復旧が困難でタスク失敗に直結するという課題がありましたが、本研究ではタスク実行を「深さ優先探索（DFS）」としてモデル化し、長距離かつ多段階のバックトラックを可能にする新フレームワーク「BEAP-Agent」を提案しました。
潜在的な思考の連鎖を計画として捉える：推論と言語化の分離
本研究では、大規模言語モデルの推論プロセスを言語化から切り離し、連続的な潜在空間における計画として再定義する新しいフレームワーク「PLaT」を提案している。従来の思考の連鎖（CoT）が抱えていた計算コストの増大や、離散的なトークン選択による推論経路の崩壊という課題に対し、推論を司るプランナーと、その思考をテキストに変換するデコーダーを分離した構造を採用することで、推論の動的な終了や中間状態の解釈を可能にした。数学的ベンチマークを用いた検証の結果、PLaTは従来のベースラインと比較して決定論的な回答精度では及ばないものの、多様な推論経路を探索する能力において極めて高いスケーラビリティを示すことが確認されており、より広範な解空間を学習していることが示唆されている。