Hugging Face Hub、RL Environments専用のフィルターとフレームワークタグを導入

RL環境は、エージェントにタスクを与え、行動に対して観測を返し、結果をスコア化する仕組みである。得られた報酬は評価時の性能測定にも、学習時のシグナルにも使える。環境はタスクセットとランタイムに大別され、今回のリリースはタスクセットに焦点を当てている。Hub上のRL環境は、新しいRL Environmentsフィルターに表示されるデータセットリポジトリである。Use this dataset ボタンから、各フレームワークで実行するコマンドを得られる。

背景として、RLの論文やフレームワークごとに環境の探し方が異なり、独自のハブやレジストリ、GitHub上のタスク一覧などに分散している問題を挙げている。あるフレームワーク向けに公開した環境は他のフレームワークの利用者が読み込めず、手作業での移植が必要になる。Hugging Faceは、環境はタスク、テスト、コンテナ、報酬ルールというデータにランタイムを載せたものだと捉え、ホスティング、発見、バージョン管理はHubに任せ、実行は各フレームワークが担う分担を提案している。

フィルターは huggingface.co/datasets?other=rl-environment で利用でき、フレームワークタグ（harbor、verifiers、openenv、nemo-gym）を付けるとデータセットページにアイコンと生成されたスニペットが表示される。1つのデータセットに複数のタグを付けられるが、タグは互換性を示すだけで、ファイルを変換するものではない。記事ではHarborのoracleエージェントによる参照解の検証、Verifiersでのモデル実行、OpenEnvでのロールアウトと報酬の確認、NeMo Gymでの応答生成と報酬確認の例が示されている。

公開手順は、データセットカードのYAMLヘッダーに rl-environment と対応フレームワークのタグを書くだけである。BeyondSWE、Terminal-Lego、Multi-SWE-RL-Verified、Workplace Assistant など既存環境にはタグ付けのPRも送られている。今後はconfigごとのスニペット、厳密なレイアウトを持つフレームワーク向けの構造検出、カスタムタスクUIを検討し、フレームワーク側にはアップロード時の自動タグ付けを呼びかけている。