ELYZA、LLMサービスにOpenTelemetryでAPMを安全に導入した方法

ELYZAのエンジニアが、LLMを使うtoB向けアプリケーションプラットフォームにOpenTelemetryでトレーシングを導入した経緯と実装を紹介している。顧客のプロンプトを外部に出さず費用を抑える方針で、Node.jsのAPIとworkerのみSpanを送出し、MLは中継に徹する構成とした。Web → API → SQS → ML → SQS → workerの推論が1本のtraceとしてDatadog上で追えるようになった。