루다 선톡을 대비하는법

문제 & 배경: 기존 HPA가 현재 RPS만 보고 서버를 늘려 메시지가 갑자기 몰리거나, 모델 가중치 다운로드로 배포가 느린 모델 서버의 특성을 충분히 반영하지 못했습니다.

기술 & 해결책: 발송 서비스가 앞으로 보낼 메시지 수를 Prometheus 메트릭으로 내보내면 Prescaler가 이를 RPS로 환산·병합하고, 목표값과 비교해 Kubernetes HPA의 복제본 수를 자동으로 조정하도록 구성했습니다.

교훈 & 주의점: 서버의 현재 상태뿐 아니라 앞으로 발생할 작업량을 메트릭으로 정의하면 트래픽 증가에 선제적으로 대응할 수 있으며, 여러 설정이 겹칠 때는 합산 같은 병합 전략과 각 리소스의 목표값을 명확히 정해야 합니다.