Zonkey: 微分可能なトークン化と確率的アテンションを備えた階層型拡散言語モデル

要約

従来のLLMが抱える固定的なトークナイザーの制約を解消するため、生の文字から文書表現までをエンドツーエンドで学習可能な階層型拡散モデル「Zonkey」が提案されました。微分可能なトークン化と確率的アテンションにより、明示的な教師なしで言語的な境界を学習し、ノイズに強く適応性の高いテキスト生成を実現します。

全文は有料プランで閲覧できます。