AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄

문제 & 배경: GPU에서 사용하던 모델을 Inferentia로 옮기려면 정확도가 달라지지 않는지 확인해야 했고, 기존처럼 토크나이저를 모델 안에 함께 넣는 방식은 GPU 활용도가 낮고 Inferentia에서 지원되지 않았습니다.

기술 & 해결책: GPU와 Inferentia의 결과를 비교해 정합성을 검증한 뒤 토크나이저를 FastAPI 기반 별도 서버로 분리하고, Neuron으로 컴파일한 모델을 TensorFlow Serving과 Docker·EKS에서 비동기 처리와 동적 배칭으로 운영했습니다.

교훈 & 주의점: 실제 업무 데이터로 GPU와의 성능 차이를 반드시 확인해야 하며, 이 방식은 테스트한 모델에서 분류 결과가 동일했고 최대 2.6배 높은 처리량과 최대 5.7배 낮은 비용을 얻었지만 배포 전 부하 테스트와 Neuron 디바이스·권한 설정을 꼼꼼히 점검해야 합니다.