SageMaker AIで知識蒸留によるショッピングエージェント構築手法を解説

Amazon SageMaker AI上で、フロンティアモデルを教師とする系列レベルの知識蒸留（SeqKD）によりショッピングエージェントを小型の生徒モデルにファインチューニングする方法を解説する。エージェントは検索や検証を繰り返すため1タスクで複数回の呼び出しが発生するが、小型モデルに置き換えることでコストと応答速度を抑えられる。SeqKDは教師モデルのテキスト出力のみを使うため、APIでしか利用できないモデルにも適用でき、タスクを解決した軌跡だけを学習データとして残す。

AWS Machine Learning Blogより

推移を表示するための継続的な観測データがまだ足りません。