Amazon SageMaker JumpStartでモデルをデプロイし評価する方法

Amazon SageMaker JumpStartのモデルをデプロイし、SageMaker Python SDKで軽量かつ再現可能な性能テストを実行し、終了後にエンドポイントを削除する手順を解説している。スクリプトはモデルの探索とデプロイ、レイテンシや出力量、単一リクエストの生成速度の測定、クリーンアップの3段階で構成される。多くの互換モデルで使えるが、ペイロード形式、インスタンスタイプ、EULA、レスポンス解析はモデルごとの調整が必要になる場合がある。