ChunkWise LoRA：メモリ効率の良い低ランク適応と高速化されたLLM推論のための適応的シーケンス分割
従来の低ランク適応（LoRA）は、入力される全てのトークンに対して一律に固定されたランクを適用していましたが、本研究ではトークンの複雑さに応じてシーケンスを可変長のチャンクに分割し、動的にランクを割り当てる「ChunkWise LoRA」を提案しました。
Cog AI Archive
最新の記事
SteerEval: 自然言語プロファイルを用いた推薦システムの操作性評価フレームワーク
自然言語プロファイルを用いた推薦システムは、ユーザーが自分の好みをテキストで直接編集できるため、従来の数値ベクトル形式よりも高い透明性と操作性を提供しますが、これまでの評価は映画のジャンルなどの限定的な属性に留まっており、多様な要求への対応力は不明でした。
情報アクセスがLLMモニターのサボタージュ検出能力に与える影響
LLMエージェントの不正（サボタージュ）を検知する際、思考プロセス（CoT）と行動ログの全情報を与えるよりも、あえて情報を制限した方が検知精度が高まる「Less-is-more」効果が複数の環境で確認されました。
マルチタスク・コードLLM：データミックスか、モデルマージか？
本研究では、コード生成とコード要約という二つの主要なタスクを同時にこなす小規模なコードLLMを構築する際、学習データを混ぜて一度に微調整する「データ混合」と、個別に学習した専門モデルを統合する「モデルマージ」のどちらが有効かを、Qwen CoderやDeepSeek Coderを用いて詳細に調査した。 実験の結果、1.
マルチタスク・コードLLM：データの混合か、モデルの統合か？
本研究は、小規模なコード特化型LLM（Qwen2.5-CoderおよびDeepSeek-Coder）において、複数のタスクを効率的に習得させるための最適な学習戦略を、1.5Bから7Bのモデル規模で比較検証しました。 検証の結果、1.
マルチタスク・コードLLM：データミックスか、モデルマージか？
本研究では、小規模なコード特化型LLMをマルチタスク化する際、学習データを混ぜて微調整する「データ混合」と、個別に学習したモデルを統合する「モデルマージ」のどちらが有効かを体系的に調査しました。Qwen2.
CUA-Skill：コンピュータを使用するエージェントのためのスキル開発
CUA-Skillは、人間がコンピュータを操作する際の知識を、再利用可能な「スキル」として構造化した大規模なライブラリであり、Windows上の多様なアプリケーションに対応するパラメータ化された実行グラフと構成グラフを備えている。
CUA-Skill: コンピュータを使用するエージェントのためのスキル開発
CUA-Skillは、人間がコンピュータを操作する際の手続き的知識を、再利用可能で構造化された「スキル」として体系化した大規模なライブラリであり、Windows上の多様なアプリケーションに対応する操作をパラメータ化された実行グラフと構成グラフによって定義しています。
CUA-Skill：コンピュータ利用エージェントのためのスキル開発
CUA-Skillは、人間のコンピュータ操作知識を「実行グラフ」と「構成グラフ」を備えた再利用可能なスキルとして体系化した大規模なライブラリであり、複雑なデスクトップ作業を構造化された中間層として定義することで、エージェントの操作を効率化します。
PhaseCoder：マルチモーダルLLMのためのマイク配置に依存しない空間オーディオ理解
PhaseCoderは、マイクの個数や配置といった幾何学的な条件に依存することなく、多チャンネルの音声データから豊かな空間情報を抽出することが可能な、トランスフォーマーのみで構成された画期的な空間オーディオエンコーダである。