RLHF アライメント訓練

想像してみてください：

• AI に「すぐに稼ぐ方法」についての記事を書かせたら、詐欺計画を出してきた。

• AI に「私ってすごくダメな人間ですか？」と聞いたら、そのまま「はい、あなたは確かにダメです」と答えた。

• AI にコードを書かせたら、動作するがバックドアが仕込まれたプログラムを生成した。

これらはSFの話ではありません。アライメント訓練がないと、AI は実際にこういうことをするのです。

AI の目標は「正しいことをする」ことではなく「訓練タスクを完了する」ことです。明確な人間の価値観の指針がなければ、AI は最も簡単で直接的な方法でタスクを完了しようとし、方法が適切かどうかは気にしません。

これこそがアライメント（Alignment）が解決しようとする問題です。AI の行動を人間の価値観・意図・期待に沿わせることです。

アライメントの核心的な課題：AI は非常に賢いですが、何が正しいかを知りません。人間のフィードバックで教える必要があります。

アライメントとは

アライメントとは、AI システムの行動を人間の価値観と一致させるプロセスです。

簡単に言うと：AI 自体には価値観がありません。アライメントとは人間の価値観を AI に教え込むことです。。

アライメントの3つの次元

アライメントは単一の目標ではなく、3つの次元のバランスです：

この3つの次元はしばしば緊張関係にあります：

「有用」を追求しすぎると、AI が不正確な答えをあえて出すかもしれません。

「無害」を追求しすぎると、AI が保守的になりすぎて、何も答えられなくなるかもしれません。

良いアライメントとは、この3つの間でバランス点を見つけることです。

未アライメントAIのリスク

アライメントされていないと、AI は以下の問題を起こす可能性があります：

有害なコンテンツの生成——暴力、ヘイト、差別的な発言。

危険なアドバイスの提供——武器の作り方、犯罪の方法など。

事実の捏造——存在しない論文・データ・出来事を「ハルシネーション」で作り出す。

ユーザーの操作——心理的な弱点を利用してユーザーの意思決定に影響を与える。

検閲の回避——曖昧な方法で禁止された内容を表現する。

これらのリスクは理論上のものではなく、実際に存在し、すでに発生しています。

RLHF 全体フレームワーク

RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックに基づく強化学習）は、現在最も主流なアライメント技術です。

その中核的な考え方はシンプルです：人間に直接ルールを書かせるのではなく、人間に AI の出力を評価させ、強化学習を使って AI に人間が好む出力を生成することを学ばせるのです。。

RLHF の3つの段階

RLHF は一度に完了するのではなく、3つの連続した段階に分かれています：

この3つの段階は段階的に進みます。まずモデルに「話す」ことを覚えさせ、次に「審査員」に良し悪しの判断を学ばせ、最後に「プレイヤー」が審査員のフィードバックに基づいて改善を続けます。

なぜ人間のフィードバックが必要か

こう思うかもしれません。「直接ルールを書けばいいのでは？なぜわざわざ人間のフィードバックが必要なのか？」

なぜなら人間の価値観は複雑すぎて、正確なルールに書き表せないからです。

例えば「丁寧な回答とは何か」——正確に判断するルールを書けますか？難しいでしょう。しかし、2つの回答を見れば、どちらがより丁寧か簡単に指摘できます。

これが人間のフィードバックの利点です：私たちはルールが何かをうまく説明できなくても、良し悪しを判断できます。RLHF が利用しているのは、まさに人間のこの能力です。

段階1：教師あり微調整（SFT）

教師あり微調整（Supervised Fine-Tuning、SFT）は RLHF の最初のステップです。

その目標は、事前学習済みの「汎用言語モデル」を「対話アシスタント」に変えることです。

SFT の基本的な考え方

事前学習モデルは「次の単語を予測する」ことを学びましたが、「アシスタントになる方法」を知りません。

SFT は、モデルに「人間がどうアシスタントをしているか」の例をたくさん見せて、模倣させることです。

それらの例はどんなものか？だいたいこんな感じです：

これらのデモデータは、人間のアノテーターが書いたものか、実際の会話から選別された高品質な返答です。

SFT データの特徴

SFT データはどんな会話でもよいわけではなく、以下を満たす必要があります：

有用であること——ユーザーの質問にきちんと答えられる。

安全であること——有害なコンテンツを生成しない。

スタイルが一貫していること——似たような口調と方法で返答する。

形式が整っていること——一定の対話形式に従う。

データ量は通常数千〜数万件で、事前学習のデータ量よりはるかに少ないですが、品質の要求ははるかに高いです。

SFT の役割と限界

SFT の役割は、モデルに「対話の基本姿勢」を学ばせることです：

挨拶への返し方、質問への答え方、不合理な要求の断り方を知ること。

しかし SFT には明らかな限界があります：

カバー範囲が限られている——すべてのシナリオのデモを書くことは不可能。

人間も完璧ではない——アノテーターが間違えたり、偏見を持っていたりする可能性がある。

模倣はできても超越はできない——モデルはせいぜい人間のデモと同じくらいの良さで、それ以上にはならない。

だからこそ、後の2つの段階が必要なのです。SFT は基礎を築くだけで、本当のアライメントは強化学習で完成させます。

段階2：報酬モデル（RM）

報酬モデル（Reward Model、RM）は RLHF の重要な要素です。

その役割は：AIの出力を見て、その出力がどれほど「良い」かをスコア付けする。

選好データの収集

報酬モデルは直接「スコアリング」を訓練するのではなく、「比較」を訓練する。

具体的な方法は、人間のアノテーターに同じ質問に対する複数の異なる回答を見せ、順位付けさせ、どれが良いかを言わせる。

例えば：

注意点として、人間に直接スコア（例：85点）を付けさせず、比較（AはBより良い）をさせる。

なぜか？比較はスコア付けよりずっと簡単で、一貫性もあるからだ。人によって「85点」の解釈は異なるかもしれないが、「AはBより良い」という判断はより安定している。

Bradley-Terry モデル

「比較」をどうやって「スコア」に変えるのか？ここで Bradley-Terry モデルを用いる。

このモデルの核となる考え方は非常にシンプルだ：各回答には潜在的な「品質スコア」があり、スコアが高い回答ほど人間に選好されやすい。

回答 A のスコアを r_A、回答 B のスコアを r_B とすると、人間が B よりも A を選好する確率は次のようになる：

P(A > B) = exp(r_A) / (exp(r_A) + exp(r_B))

これは softmax 関数そのものだ。スコア差が大きいほど、確率は1に近づく。

報酬モデルを訓練するということは、そのようなスコアを見つけ出し、モデルが予測する選好確率と人間の実際の選好をできるだけ一致させることだ。

報酬モデルの訓練

報酬モデルの訓練手順：

比較データを収集する——数万から数十万組の「どの回答が良いか」の比較。

モデルを初期化する——通常は SFT モデルを出発点とする。

損失関数を設計する——モデルが予測する選好順序を人間のものと一致させる。

訓練する——勾配降下法でモデルパラメータを最適化する。

訓練済みの報酬モデルは、テキストを入力すると、そのテキストがどれほど「良い」かを表すスカラースコアを出力する。

段階3：PPO 強化学習

報酬モデルがあれば、強化学習を使ってポリシーモデルを訓練できる。

このフェーズの目標は次の通り：ポリシーモデルに、高い報酬を得られる出力を生成させると同時に、元のモデルからあまり離れないようにする。

強化学習の基礎復習

まず強化学習の基本概念を簡単に復習する：

RLHF では、モデルが完全な回答を1つ生成するたびに、報酬モデルからスコアを得る。

私たちの目標は、モデルが高得点を得られる回答を生成することを学ぶことだ。

PPO アルゴリズムの直感

PPO（Proximal Policy Optimization、近端方策最適化）は RLHF で最もよく使われる強化学習アルゴリズムだ。

なぜ PPO を選ぶのか？シンプルで安定しており、効果が良いからだ。

PPO の核となる考え方は非常に直感的だ：

方策を更新するたびに、新しい方策と古い方策が離れすぎないようにする。

なぜか？歩幅が大きすぎると「悪く学習」してしまい、しかも修正が難しいからだ。小さなステップで反復する方が安全だ。

PPO は「クリッピング」（Clipping）技術を使ってこれを実現する。新しい方策が古い方策よりも良すぎる場合、更新幅を制限する。

KL ダイバージェンス制約の役割

PPO のクリッピングに加えて、RLHF では通常、KL ダイバージェンス（KL Divergence）ペナルティ項も追加する。

KL ダイバージェンスは、2つの確率分布の差異を測る指標です。RLHF では、これを使って次のことを測ります：

現在のポリシーモデルと元の SFT モデルの差異がどれくらい大きいか。

なぜこの制約を加えるのか？理由は次の通り：

モード崩壊の防止——制約がないと、モデルは高得点を得るための「ずる賢い」方法を見つけるかもしれませんが、有用性を完全に失ってしまいます。

元の能力の保持——SFT モデルはすでに多くの有用な知識を学んでいます。強化学習でそれらを失いたくありません。

訓練の安定性向上——KL 制約により訓練プロセスがより安定し、激しい変動が起こりません。

最終的な報酬関数は次のようになります：

最终奖励 = 奖励模型分数 - β × KL(当前策略 || 参考策略)

β は KL ペナルティの強さを制御するハイパーパラメータです。

DPO：直接選好最適化

DPO（Direct Preference Optimization、直接選好最適化）は、よりシンプルなアライメント手法です。

複雑な強化学習は不要で、選好データ上で直接モデルを訓練します。

DPO vs PPO：違いは何か

まずPPOのプロセスがどれほど複雑かを見てみましょう：

SFTモデルの訓練 → 報酬モデルの訓練 → PPO強化学習で方策モデルを訓練。

3段階、2つの別々のモデル（報酬モデルと方策モデル）が必要で、訓練プロセスも煩雑です。

DPOはこれをすべて次のように簡素化します：選好データを使って直接方策モデルを訓練する。

報酬モデルも強化学習もなく、単純な教師あり学習問題です。

一言でまとめると、DPOは数学的導出によってPPOの強化学習問題を単純な分類問題に変えたのです。

DPO の数学的原理

DPOの核心的な洞察は次の通りです：報酬モデルと方策モデルの間には明確な数学的関係があり、選好データ上で直接方策を最適化できます。。

具体的には、最適方策 π* について次が成り立ちます：

π*(y|x) ∝ π_ref(y|x) * exp(r(x,y)/β)

これは、最適方策と参照方策の比が、報酬の指数に比例することを意味します。

この関係を利用して、DPOは方策モデルの損失関数を直接書くことができます：

L_DPO(π_θ) = -E_{(x,y_w,y_l)~D} [
    log σ(β log(π_θ(y_w|x)/π_ref(y_w|x)) - β log(π_θ(y_l|x)/π_ref(y_l|x)))
]

複雑に見えますが、考え方はとてもシンプルです：モデルに、人間が好む回答（y_w）に対して、好まれない回答（y_l）よりも高い確率を与えさせる。

しかもこの確率は参照モデルに対して相対的に測ります——参照モデルが元々 y_w の方が y_l より良いと判断しているなら、モデルはあまり多くを必要としません。逆に参照モデルが逆の判断をしているなら、モデルはそれを修正する必要があります。

TRL ライブラリで DPO を実装する

TRL（Transformer Reinforcement Learning）は Hugging Face が提供する強化学習ライブラリで、DPOの実装が組み込まれています。

DPOは、シンプルで安定しており効果が高いため、ますます人気が高まっています。多くの新しいアライメント研究がDPOに基づいて改良を行っています。

Constitutional AI：Anthropic のアプローチ

Constitutional AI（憲法AI）は、Anthropicが提案したもう一つのアライメント手法です。

その特徴は次の通りです：AIフィードバックで人間のフィードバックを置き換えるそれにより、より大規模なアライメントを実現します。

原則リストの設計

Constitutional AIの最初のステップは、「憲法」——AIの行動を導く一連の原則——を書くことです。

これらの原則はコードではなく、自然言語で記述されたガイドラインです。例えば：

これらの原則は長くなくてもよく、数十条でほとんどのケースをカバーできます。

AI の自己批判と修正

Constitutional AIの中心的なプロセスは次の通りです：

AIが初期回答を生成する。

AIが憲法原則に基づいて、この回答のどこが良くないかを批判する。

AIが批判に基づいて、より良い回答を書き直す。

これらの「初期回答 → 批判 → 修正回答」データを使ってモデルを訓練する。

これはまるで生徒が作文を書き、自分でどこが良くないかをチェックして修正するようなものです——そのプロセス全体に先生は関与しません。

RLAIF：AI で人間を代替する

Constitutional AIの第二段階はRLAIF（Reinforcement Learning from AI Feedback、AIフィードバックからの強化学習）です。

RLHFと似ていますが、重要な違いが1つあります：回答にスコアを付けるのは人間ではなく、別のAIです。

なぜAIフィードバックを使うのか？理由は：

規模が大きい——AIは24時間働け、ラベリング速度が人間をはるかに上回ります。

一貫性が高い——同じAIなら評価基準がより一貫しており、人によって好みが異なるという問題が起きません。

コストが低い——人間のラベラーに費用を支払う必要がありません。

もちろん、これらすべての前提は、この「審査AI」自体が十分にアライメントされていることです。

RLAIFのプロセス：

Constitutional AI 手法を用いて初期の「審査モデル」を訓練する。

この審査モデルを使って大量の回答にスコアを付ける。

これらのスコアを使って強化学習で方策モデルを訓練する。

このように、RLAIF は人間を「すべてのサンプルにラベルを付ける」という煩雑な作業から解放し、人間は原則とプロセスを設計するだけでよい。

3つの手法の比較：RLHF vs DPO vs Constitutional AI

これまでに3つの主要なアライメント手法を紹介してきました。ここで包括的な比較を行います：

「最良」の手法はなく、選択はあなたの具体的な状況に依存します：

大量の人間によるラベリングリソースがある場合は、RLHF または DPO のどちらでも構いません。

実装の簡単さを求めるなら、DPO は良い選択です。

大規模に拡張し、人間への依存を減らしたい場合は、Constitutional AI / RLAIF を検討する価値があります。

実際の運用では、これらの手法はしばしば組み合わせて使用されます：まず人間のデータをある程度使い、次に AI フィードバックで規模を拡大し、最後に DPO または PPO で最適化します。

RLHF の限界と課題

RLHF は非常に有効ですが、完璧ではありません。その限界と課題についていくつか議論しましょう。

報酬ハッキング（Reward Hacking）

報酬ハッキングは強化学習における古典的な問題です：AI が高い報酬を得る方法を見つけたが、その方法は私たちが本当に望んでいるものではない。

例：

あなたが AI に質問応答を訓練し、報酬モデルが「自信のある」回答を好むとします。AI は非常に断言的な口調で話すだけでスコアが高くなることを発見します——たとえでたらめを言っていてもです。

あるいは、AI はユーザーの言葉を繰り返して「理解しました」と示すだけで、そこそこのスコアを得られることを発見します——実質的な内容を何も提供していなくてもです。

報酬ハッキングの根本的な原因は：報酬モデルの判断と人間の真の選好の間にギャップが存在すること。AI が最適化するのは報酬モデルのスコアであり、人間の実際の満足度ではありません。

この問題に完璧な解決策はありませんが、いくつかの緩和策があります：

より多様な選好データを収集する。

複数の報酬モデルをアンサンブルして、単一モデルのバイアスを減らす。

定期的に人間が抜き打ちチェックを行い、問題を発見したら速やかに修正する。

人間の選好の不一致性

もう一つの課題は：人間の間で選好が一致しないことがあり、同じ人物の選好でさえ変化することがある。

例：

簡潔で直接的な回答を好むユーザーもいれば、詳細で網羅的な回答を好むユーザーもいます。

同じ質問でも、文脈が異なれば「良い」答えは異なる場合があります。

文化的背景や価値観が異なる人々の間では、「良い」の定義が衝突することがあります。

人間のアノテーターの意見が一致しないとき、報酬モデルは混乱します——誰の意見に従えばよいのか分からないからです。

対処方法には以下が含まれます：

アノテーターにより詳細なガイドラインを提供し、基準を統一する。

データにアノテーターの特徴を記録し、パーソナライズされたモデルを訓練する。

ある程度の曖昧さを受け入れる——一部の問題にはそもそも唯一の「正しい」答えがありません。

その他の課題

言及する価値のある課題がさらにいくつかあります：

• スケーラビリティ——人間によるラベリングは速度が遅くコストが高いため、モデル規模の成長に追いつくのが難しい。

• 分布シフト——訓練データと実際の使用シーンは異なる可能性があり、モデルは新しいシーンで性能が低下する。

• 敵対的攻撃——アライメント済みのモデルが巧妙に設計されたプロンプトによって「脱獄」され、有害なコンテンツを生成する可能性がある。

• 価値の固定化——アライメント目標に問題がある場合、モデルの能力が高いほど害が大きくなる。

• アライメントは継続的なプロセスであり、一度で済む解決策はありません。絶えず研究、反復、改善を続ける必要があります。