Google Cloud API Gatewayがストリーミング対応を公開プレビュー

対応するパターンは、SSE、チャンク転送エンコーディングとHTTPレスポンスストリーミング（NDJSONを含む）、WebSocket、gRPCのサーバーストリーミングと双方向ストリーミングである。レスポンスはバックエンドが生成するそばから渡され、最後にまとめてバッファされることはない。ストリームは最長1時間開いたままにでき、クライアント側には再接続ロジックの実装が求められる。 API仕様は変更不要で、ストリーミング専用の拡張や注釈もない。APIキーの強制、Firebase、Auth0、Okta、Google IDトークンを含むJWT検証、バックエンドへのサービスアカウント認証、Cloud LoggingとCloud Monitoringとの連携、パステンプレートとルーティングも従来どおり使える。プレビュー中は `gcloud api-gateway gateways create` に `--enable-streaming` を付ける。GA時にはオプトイン不要でストリーミングが標準の挙動になる予定とされている。 あわせてデフォルトのホスト名が、GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev という予測可能な形式になった。従来は生成されたハッシュが含まれ、作成前にURLが分からなかった。今後はTerraformやCIパイプライン、ファイアウォールの許可リストなどに事前に書き込め、同じプロジェクトとリージョンで再作成しても同じURLになる。 AI用途では、モデルルーティングを使うゲートウェイが、Gemini、Claude、OpenAI gpt-oss modelsの応答を生成と同時にストリーミングできる。単一のOpenAI互換エンドポイントからリクエストのmodelフィールドに応じて振り分け、利用可能なモデルや利用者、ポリシーを集中管理できる。より広範なAIポリシーやライフサイクル管理にはApigee、エージェント接続の保護にはGemini platformのAgent Gatewayを使う構成が紹介されている。 プレビュー中の制約として、ストリーミングは作成時にのみ有効化でき、既存のゲートウェイは変換できない。Serverless NEGsと外部Application Load Balancerによるカスタムドメイン、Cloud consoleからの有効化、Terraformは初回プレビューでは未対応で、プレビュー期間中に提供予定とされる。ストリームの遅延メトリクスは最初のバイトまでの時間ではなく接続の存続時間を示す。

Google Developers Blogより

推移を表示するための継続的な観測データがまだ足りません。