List Objectsに数日かかる世界からの脱却。20TB/日のデータを支えるS3インベントリ活用術

Turingは、S3インベントリを用いたデータ管理基盤を導入し、数億オブジェクト規模のデータセット情報を数日ではなく数秒で取得できるようにした。Databricks上で外部テーブルとDelta Tableの2段階構成とし、日次で更新している。インベントリの実行コストは100万オブジェクトあたりUSD 0.0025と記載されている。