TRLとOpenEnvでコーディングモデルに水彩画を描かせる強化学習の再現手順

モデルは約150行のJavaScriptを書き、ライブラリp5.brushで水彩画を描く。p5.brushの47メソッドのうち許可するのは10個だけで、塗りつぶし図形に滲みが加わる仕組みで画風が決まる。報酬はゲート0.05、コード長0.05、ペアワイズ審査0.60、HPSv3 0.30の合計である。ペアワイズ審査はQwen3-VL-30B-A3B-Instructを使い、手作業で評価した178枚の参照プールと比較する。プールは「love」と「okay」の2段階で、4つのオープンウェイトモデルが生成した作品から選んでいる。

学習は審査重視のjudge-led、中間のhps-led、HPSv3のみのhps-onlyの3種類を比較した。平均グループ報酬は、最初の3分の1と最後の3分の1でhps-onlyが0.58から0.71、judge-ledが0.45から0.72、hps-ledが0.57から0.82へ上がった。最初に学んだのは悪い絵を減らすことで、judge-ledでは総報酬0.3未満のロールアウトが99から16に減った。審査モデルを入れた実行では絵具の被覆率も約2倍になった。システムプロンプトは15〜30個の図形を求めるが、実際は7〜9個で、報酬との相関もほぼなかった。

最初は報酬曲線が平らなままだったが、GRPOTrainerの4点の変更で学習が進んだ。学習率を2e-5から5e-5へ、スケジューラをconstant_with_warmupへ、scale_rewardsをnoneへ、LoRAのtarget_modulesをall-linearへ変えた。インフラ障害が報酬0.0として混入していたため、Noneを返してグループから除外するようにした。OpenEnvのクライアントで切断済みwebsocketが残る不具合も見つけ、修正を上流に送っている。

コストはH200 1基で60ステップに18時間、110ステップで約34時間である。1ステップは15〜18分で、その70〜80%がレンダリングに使われる。今後の案として、モデルが自分の絵を見られるマルチステップ化や、4Bでも有効なコードが書けた小型モデルの利用などを挙げている。プールが何を美しいとみなすかを決めるため、報酬設計の中心はキュレーションにあると結んでいる。