Databricks の Declarative Automation Bundles を用いた機械学習データセット作成基盤の構築

Turing のMLOpsチームが、E2E自動運転AI向けデータセット作成基盤を、AWS Step Functionsベースの既存システムからDatabricks上のパイプラインに置き換えた。500時間分の走行データで半日以上かかっていた作成時間が、条件にもよるが60分以下になった。保守性の向上にはDeclarative Automation Bundles（DAB）を使い、CI/CDや開発環境と本番環境の分離を実現している。