大規模言語モデル(LLM)は、その汎用性の高さから、コード生成、コンテンツ作成、対話システムなど、多岐にわたるタスクに応用されています。特に、AlphaEvolveのような「推論時探索(Inference-scaling search)」と呼ばれるプロセスでは、LLMが生成した複数の候補の中から、多様なタスク固有の報酬関数に基づいて最適なものを選ぶことが求められます。しかし、現在のLLMの学習パラダイムには一つの大きな課題があります。それは、一般的に単一のスカラ報酬（数値一つで表現される報酬）を最適化するため、モデルが低エントロピーな、つまり多様性の低い応答しか生成しない傾向にあることです。
このような多様性の欠如は、推論時探索の効率を著しく低下させます。探索アルゴリズムは、元となるモデルの出力が多様であればあるほど、より広い範囲から目的の解を見つけ出すことが可能になります。そのため、LLMが多様なシナリオや要件に対応できるような、よりリッチな応答分布を持つことが強く望まれているのです。
この論文で提案されている「Vector Policy Optimization (VPO)」は、まさにこの多様性の課題に焦点を当てた新しい強化学習(Reinforcement Learning, RL)アルゴリズムです。VPOは、LLMが多様なダウンストリーム報酬関数を予測し、それに応じた多様なソリューションを生成するように明示的に訓練することで、推論時探索の性能を大幅に向上させることを目指しています。
この研究の新規性
VPOの最も重要な新規性は、従来の強化学習が単一のスカラ報酬を最適化するのに対し、報酬を「ベクトル値」として扱い、多様なソリューションのセットを生成するようにポリシー（方策）を学習させる点にあります。これまでの標準的なLLMのポストトレーニングでは、例えば「コードがコンパイルできるか」といった単一の指標で最適化されることが多く、結果としてモデルの出力が狭い範囲に収束しがちでした。
VPOは、報酬が実際には複数の側面を持つことが多いという洞察に基づいています。例えば、コード生成では「テストケース1に合格するか」「テストケース2に合格するか」といった複数の評価軸がありますし、ユーザーとの対話であれば「親しみやすいか」「正確か」「簡潔か」といった複数のユーザーペルソナや報酬モデルが存在し得ます。VPOは、これらの複数の評価軸（報酬ベクトルの各要素）を考慮し、ポリシーが単一の最適解だけでなく、それぞれの評価軸における異なるトレードオフを持つ「ソリューションのセット」を出力するように訓練します。
これにより、VPOは既存の強化学習アルゴリズム、特にGeneralized Advantage Estimator for Policy Optimization (GRPO)のAdvantage Estimatorの「ドロップイン代替(drop-in replacement)」として機能しつつ、LLMに推論時探索で必要とされる多様性を自然に生成させることを可能にしました。このアプローチによって、ダウンストリームの探索アルゴリズムは、VPOが生成した幅広い選択肢の中から、より多様な条件を満たす最適なソリューションを見つけ出せるようになるのです。
技術的な核心
Vector Policy Optimization (VPO)は、強化学習フレームワーク内で動作し、大規模言語モデルのポリシーを訓練するためのアルゴリズムです。その核心は、報酬が単一のスカラ値ではなく、複数の要素からなるベクトルとして定義されることを前提としている点にあります。
例えば、コード生成タスクを考えてみましょう。通常、コードの品質は「全てのテストケースに合格するか」という単一の指標で評価されがちです。しかし、実際には「特定のテストケース群でのパフォーマンス」「実行効率」「可読性」など、複数の異なる基準が存在します。VPOは、これらの基準を個別の報酬成分として扱い、報酬ベクトル $\mathbf{r} = [r_1, r_2, …, r_N]$ を構築します。
VPOは、この報酬ベクトルを利用して、モデルが生成するソリューション群がベクトル報酬空間内で多様なトレードオフを示すようにポリシーを最適化します。具体的には、GRPO（Generalized Advantage Estimator for Policy Optimization）の概念を拡張しています。GRPOは、強化学習における価値関数（Value Function）とアクター（Policy）の訓練を安定させるためのAdvantage Estimator（優位性推定器）を使用しますが、VPOはこのAdvantage Estimatorの計算を、単一のスカラ報酬ではなく、報酬ベクトルの各次元を考慮するように変更します。
VPOは、LLMのポリシーに、異なる報酬の側面に対して「専門化された」応答を生成することを学習させます。これは、モデルが複数の「サブポリシー」のようなものを内部的に持ち、入力に応じて最適なサブポリシーを切り替える、というよりは、一つのポリシーが「多様な目的を同時に満たす、あるいは異なるトレードオフを持つ複数の出力」を一度に生成する能力を身につけるイメージです。
この訓練プロセスを通じて、VPOはLLMが「個々のソリューションがベクトル報酬空間の異なるトレードオフに特化するようなソリューションのセット」を出力することを可能にします。例えば、あるソリューションはテストケースAに非常に強く、別のソリューションはテストケースBに特化しつつ、実行効率も考慮している、といった具合です。これにより、ダウンストリームの探索アルゴリズムは、これらの多様なソリューションの中から、現在のタスク要件に最も合致するものを選ぶことができるようになります。
実験結果と評価
論文では、VPOの有効性を検証するために、4つの異なるタスクで実験を行いました。その結果、VPOはテスト時探索の文脈において、既存の強力なスカラ強化学習ベースラインと同等か、それ以上の性能を示すことが確認されました。ここでいうテスト時探索の指標としては、生成された k 個の候補の中で少なくとも1つが合格するかを示す pass@k や、k 個の候補の中で最良のスコアを示す best@k などが挙げられます。
注目すべき点は、探索バジェット（つまり、生成を試みる候補の数 k）が増加するにつれて、VPOとベースラインの性能差が顕著に拡大する傾向が見られたことです。これは、VPOが生成する出力の多様性が、より多くの探索リソースが与えられた場合に、探索アルゴリズムの効率と発見能力を大幅に向上させることを強く示唆しています。多様な選択肢が多ければ多いほど、探索が成功する確率が高まる、という直感と一致する結果と言えるでしょう。
さらに、進化的探索(evolutionary search)という、複数のソリューションを組み合わせてより良い解を探すタイプの探索においても、VPOモデルはその優位性を示しました。GRPOのような従来のスカラ報酬最適化モデルでは全く解決できなかった問題に対して、VPOモデルは問題解決能力を発揮することができました。これは、VPOが生成する多様性が、解空間の探索において新たな経路を開き、困難な問題の解決を可能にすることを示しています。
これらの実験結果は、VPOが生成する多様なソリューションが、様々なダウンストリームタスクにおける推論時探索の性能を向上させる上で極めて有効であることを明確に裏付けています。
実用への示唆
VPOの成果は、LLMを実世界のプロダクトや研究に応用する上で、いくつかの重要な示唆を与えてくれます。
まず、コード生成のようなタスクでは、単一の正解コードだけでなく、異なる効率性やロバスト性を持つ複数のコード候補を生成できることが、開発者にとって大きな価値となります。VPOを導入することで、LLMは多様なトレードオフを持つコードスニペットを提供できるようになり、ユーザーは自身の特定の要件に合わせて最適なものを選択できるようになるでしょう。
次に、対話システムやコンテンツ生成においても、VPOの強みは活かされます。例えば、異なるユーザーの個性や好みに合わせて、親しみやすい応答、丁寧な応答、情報量の多い応答など、多様なスタイルのテキストを生成できるようになります。これにより、ユーザーエクスペリエンスのパーソナライズが進み、より魅力的なアプリケーションが実現可能になります。
また、この研究は、LLMのポストトレーニングの目標そのものに対する再考を促します。推論時探索がLLM活用の標準的なパターンとなりつつある現代において、単一の最適解を追求するだけでなく、学習段階から「多様な解のセットを生成すること」がデフォルトの目標となるべき、という論文の主張は非常に重要です。将来的には、VPOのような多様性指向の最適化手法が、LLM開発の不可欠な要素となるかもしれません。
まとめ
本記事では、大規模言語モデル(LLM)が推論時探索において直面する「応答の多様性不足」という課題に対し、新しい強化学習アルゴリズム「Vector Policy Optimization (VPO)」がどのように解決策を提示しているかを解説しました。
VPOは、報酬を単一のスカラ値ではなくベクトル値として捉えることで、LLMが多様なダウンストリーム報酬関数を予測し、異なるトレードオフを持つソリューションのセットを生成するように明示的に訓練します。このアプローチにより、従来の強化学習手法では難しかった、出力の多様性を高めることに成功しています。
実験結果は、VPOがテスト時探索において既存の強力なベースラインを上回る性能を示し、特に探索バジェットが増えるにつれてその優位性が顕著になることを明らかにしました。また、進化的探索においては、従来のモデルでは解決できなかった問題をもVPOが解決できることが示され、その汎用性と可能性が強調されています。
今後、LLMの応用が進むにつれて推論時探索の重要性はさらに増すと考えられます。その中で、VPOのような多様性最適化手法は、LLMのポストトレーニングにおける新たな標準的な目標として、非常に大きな役割を果たすことになるでしょう。
元論文
- タイトル: Vector Policy Optimization: Training for Diversity Improves Test-Time Search
- 著者: 不明
- arXiv ID: 2605.22817
※ 本記事には Amazon アソシエイト・楽天アフィリエイト・A8.net 等のアフィリエイト広告が含まれる場合があります。リンクから商品・サービスが購入された場合、紹介料を受け取ることがあります。