Streaming comes to API Gateway: real-time and AI-ready APIs, without changing your spec

문제 & 배경: 기존 API Gateway는 요청을 받은 뒤 완성된 응답을 한 번에 돌려주는 방식에 맞춰져 있어, AI 토큰 생성·실시간 대시보드·협업 편집기처럼 연결을 오래 유지하며 데이터를 나누어 보내야 하는 서비스는 게이트웨이의 보안과 관찰 기능을 포기하고 우회해야 했습니다.

기술 & 해결책: Public Preview의 스트리밍 기능을 켜면 SSE, 청크 응답, WebSocket, gRPC 스트리밍을 기존 API 명세 변경 없이 API Gateway 뒤에서 처리하고, 인증·API 키·로깅·모델 라우팅 정책도 그대로 적용할 수 있습니다.

교훈 & 주의점: 스트리밍은 게이트웨이 생성 시 별도 옵션으로 활성화해야 하며 기존 게이트웨이는 새로 만들어야 하고, 장시간 연결에 대비한 재연결 로직과 스트림 전체 시간이 반영되는 지연시간 지표를 고려해야 합니다.