verlによる、カスタムした報酬関数を用いたGRPO学習

ELYZA Labが、ByteDance社公開のフレームワークverlでカスタム報酬関数を使いGRPO学習を行う手順を紹介した。日本語Wikipediaの1000〜1100文字のテキストを要約する実験では、文字数をpromptで指定せず報酬のみで学習させ、len=50・70・100ではscoreが0.8〜0.9程度まで向上した。len=10・30は学習前のモデルが近い出力をできず、学習が進まなかった。