VALUEFLOW：大規模言語モデルにおける多元的で制御可能な価値に基づくアライメントに向けて

TL;DR（結論）

大規模言語モデルを多様な人間の価値観に適合させるため、抽出・評価・制御を統合した初の包括的フレームワークである「VALUEFLOW」が開発され、価値の階層構造を捉える埋め込み空間、大規模な強度データベース、および安定したアンカーベースの評価器が導入されました。 従来の数値評価手法ではモデルやプロンプトによってスコアが大きく変動するという課題がありましたが、提案されたランキングベースの評価手法は分散を大幅に抑制し、人間との一致率においても高い信頼性を達成することで、価値の「存在」だけでなく「強度」の精密な測定を可能にしました。 10種類の主要なモデルを用いた検証により、特定の価値や強度を指定した生成制御が実証され、一部の属性では行動予測の精度が10パーセント以上向上したほか、複数の価値が共存する状況における制御の非対称性や合成法則といった重要な知見が明らかにされました。

なぜこの問題か

大規模言語モデルが社会の意思決定や日常的な対話に深く浸透する中で、モデルの挙動を人間の多様な期待や背景に適合させる「アライメント」の重要性はかつてないほど高まっています。しかし、現在主流となっている「好み」に基づく手法は、表面的な選択や文脈に依存した一時的な挙動を捉えるに留まり、人間の行動の根底にある深い動機付けや安定した原理を反映しきれないという根本的な課題を抱えています。これに対し、人間の「価値観」は状況を超えて意思決定を導く安定した指針であり、より説明可能で多元的なアライメントを実現するための強固な基盤として期待されています。 価値ベースのアライメントを実用化するためには、解決すべき3つの大きな技術的溝が存在すると本論文は指摘しています。第一に、価値の抽出において、抽象的な原理から具体的な事例へと至る「階層構造」が無視されがちであり、細かなニュアンスを捉えきれない点です。第二に、価値の評価において、特定の価値が含まれているかどうかという「存在」の判定はできても、その価値がどれほど強く表現されているかという「強度」を正確かつ安定して測定する尺度が不足している点です。…

核心：何を提案したのか

本論文は、大規模言語モデルにおける価値ベースのアライメントを多元的かつ制御可能にするための統合フレームワーク「VALUEFLOW」を提案しています。このフレームワークの核心は、価値の抽出、評価、そして強度制御という一連のプロセスを一つの洗練されたパイプラインで結びつけた点にあり、主に3つの革新的なコンポーネントで構成されています。 一つ目は「HIVES（Hierarchical Value Embedding Space）」と呼ばれる階層的価値埋め込み空間です。…

続きはログイン/プランで閲覧できます。