TRLとOpenEnvでコーディングモデルに水彩画を描かせる強化学習の再現手順
Hugging Faceのブログが、Surya Narreddiの水彩画生成の手法をTRLとOpenEnvで再現し、データセット、RL環境、学習スクリプト、学習済みモデルをすべて公開した。Qwen/Qwen3.5-35B-A3Bにp5.brush用のJavaScriptを書かせ、審査モデルと美的評価モデルの報酬で学習させている。3種類の報酬配分はいずれも報酬が上昇した。
選定理由：報酬設計から失敗した実験、コストまでが具体的な数字で整理されており、好みを報酬にするRLを自分で再現する際の判断材料になる。