inversedMixup: 混合埋め込みの反転によるデータ拡張
inversedMixupは、Mixupの制御性とLLM生成の解釈性を両立した新しいデータ拡張手法です。タスク固有モデルとLLMの埋め込み空間を整列させることで、混合された埋め込みを人間が理解可能な自然言語へと再構成します。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
inversedMixup: 混合埋め込みの反転によるデータ拡張
inversedMixupは、Mixupの制御性とLLM生成の解釈性を両立した新しいデータ拡張手法です。タスク固有モデルの埋め込み空間をLLMの入力空間と整列させることで、混合された埋め込みを人間が理解可能な自然言語へと再構成します。テキストMixupにおける多様体侵入現象を実証し、その緩和策も提案しています。
KAPSO: 知識に基づいた自律的なプログラム合成と最適化のためのフレームワーク
KAPSOは、自然言語の目標からプログラムを自律的に合成・最適化するモジュール型フレームワークです。Gitベースの実験管理、多様な外部知識の統合、過去の試行から学ぶ認知メモリ層を組み合わせることで、長期的なタスクにおける失敗を抑制します。
KAPSO: 知識に基づいた自律的プログラム合成と最適化のためのフレームワーク
KAPSOは、自然言語の目標からプログラムを自律的に合成・最適化するモジュール型フレームワークです。Gitベースの実験エンジン、多様な情報源を統合する知識システム、過去の試行から学習する認知メモリ層を組み合わせ、長期的な最適化ループを実現します。MLE-Bench等のベンチマークでその性能が評価されています。
LMK > CLS：密な埋め込みのためのランドマークプーリング
本研究は、従来の[CLS]トークンや平均プーリングに代わる、新しいプーリング手法「ランドマーク（LMK）プーリング」を提案します。シーケンスをチャンクに分割し、挿入したランドマークトークンの埋め込みを平均化することで、情報の偏りや希釈を防ぎます。
LMK > CLS: 高密度埋め込みのためのランドマークプーリング
本研究は、従来の[CLS]や平均プーリングの弱点を克服する「ランドマーク（LMK）プーリング」を提案します。文章をチャンクに分割し、挿入した特殊トークンの埋め込みを平均化することで、局所的な特徴を維持しつつ長文の文脈理解を向上させます。
MURAD: 大規模な多領域統合型アラビア語逆引き辞書データセット
アラビア語の語彙と定義を紐付けた大規模データセット「MURAD」が公開されました。信頼できる出典から抽出された96,243組の単語と定義のペアを含み、言語学やイスラム研究、科学、工学など幅広い分野を網羅しています。逆引き辞書の構築や意味検索、教育ツールの開発など、アラビア語の自然言語処理研究を促進するリソースです。
MURAD：大規模かつ多領域を統合したアラビア語逆引き辞書データセット
MURADは、96,243組の単語と定義のペアを含む、アラビア語の大規模な公開語彙データセットです。信頼できる参考文献や教育資料から、言語学、イスラム研究、数学、工学など多岐にわたる分野の用語を収集しています。逆引き辞書の構築や意味検索、教育ツールの開発を支援し、アラビア語の自然言語処理の発展を目指しています。
大型言語モデルの制御におけるスタイルベクトルの有効性：人間による評価
本研究は、LLMの内部活性化を直接修正して出力を制御する「活性化ステアリング」の有効性を、人間による評価を通じて検証しました。7,000件以上の評価データを分析した結果、適切な強度での制御がテキストの品質を保ちつつ感情を増幅できることが判明しました。特に嫌悪や恐怖の感情で高い効果が確認されています。
LLMの感情制御におけるスタイルベクトルの有効性：人間による評価
本研究は、LLMの内部活性化を調整して出力を制御する「アクティベーション・ステアリング」の有効性を、人間による評価を通じて検証しました。7,000件以上の評価データを分析した結果、適度な強度での制御が品質を保ちつつ感情を増幅できることが判明しました。特に嫌悪や恐怖の感情制御で高い効果が確認されています。
保存済みの記事がまだありません。
読み込み中…