Blog — FuriosaAI
White Paper: Benchmarking RNGD on Backend.AI for 1.3–1.5x greater efficiency in enterprise AI inference
AI 엔지니어링 브리핑
FuriosaAI와 Lablup은 RNGD 가속기와 Backend.AI를 함께 사용하면 기업용 AI 모델 실행에서 성능을 유지하면서 전력 효율과 운영 편의성을 높일 수 있는지 검증했다.
문제 & 배경
문제 & 배경: 기업용 AI 추론 환경은 처리량과 응답 속도를 확보하면서도 전력 사용량, 데이터센터의 냉각 부담, 다양한 작업 관리와 규정 준수 문제를 함께 해결해야 했다.
기술 & 해결책
기술 & 해결책: Qwen3-32B 모델을 대상으로 RNGD 4개와 Backend.AI의 통합 운영 방식을 시험하고, NVIDIA GPU 4개를 직접 운영한 환경과 처리량·지연 시간·전력 효율·확장성을 비교했다.
교훈 & 주의점
교훈 & 주의점: RNGD는 최대 동시 요청 256건에서 비교 환경의 95% 처리량을 내면서 전력은 30~44% 적게 사용했고, 측정된 모든 동시성 구간에서 와트당 처리량이 1.3~1.5배 높았지만, 실제 운영에서는 Backend.AI를 활용해 프리필·디코드처럼 서로 다른 작업과 혼합된 가속기 환경을 함께 관리해야 한다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.