[Nota AI Server] 온프레미스 LLM 구축, GPU 사기 전에 확인해야 할 것

문제 & 배경: 보안·규제로 클라우드 API를 쓸 수 없는 조직은 사내 서버에 LLM을 운영해야 하지만, 모델의 원래 크기만으로 GPU 수를 정하면 양자화·가지치기로 줄일 수 있는 메모리와 동시 사용자·긴 문서 때문에 늘어나는 KV 캐시를 제대로 반영하기 어렵습니다.

기술 & 해결책: Nota AI Server는 4비트 양자화와 전역 가지치기로 모델을 줄인 뒤 정확도를 검증하고, vLLM·SGLang 같은 서빙 엔진과 여러 GPU 분산 설정까지 맞춰 실제 사용 조건에 필요한 GPU 구성을 제공합니다.

교훈 & 주의점: GPU 수는 모델 크기뿐 아니라 최적화 가능성, 동시 사용자 수, 문맥 길이, GPU와 서빙 방식의 호환성을 함께 따져야 하며, 실제 환경의 정확도·처리량은 구매 전 부하 검증이나 PoC로 확인해야 합니다.