HF Jobs上でLoRAによるAsync GRPOを動かす構成、Storage BucketとプロキシでNCCLを使わず同期

TRL v1.14のAsyncGRPOTrainerは、LoRAアダプターのみを学習してvLLMへ同期できるようになり、学習と推論を別々のHugging Face Jobsに分けて実行する構成を示している。ランク1のアダプターは数MBで、1.5Bモデル全体の約3GBに比べて小さいため、Storage Bucketを共有ファイルシステムとして使いNCCLなしで同期できる。5回の実行で、同じレシピの500ステップ学習が3時間27分から53分に短縮された。