HyperAccel Tech Blog · 2026. 02. 24.

[지피지기 - Part 04] 메모리 용량 병목과 NVIDIA ICMS

AI 엔지니어링 브리핑

긴 문맥을 처리하는 AI에서 부족해진 메모리 용량을 해결하기 위해 NVIDIA가 GPU의 KV cache를 빠르고 넓게 저장하는 ICMS와 이를 관리하는 DPU를 제시한 내용입니다.

문제 & 배경

문제 & 배경: 추론형 모델과 에이전트형 AI가 긴 문맥과 많은 상호작용 기록을 사용하면서 KV cache가 GPU 메모리를 넘치게 되었고, 다른 GPU나 로컬·네트워크 저장소를 활용하는 방식도 비용·속도·공유·장애 문제를 일으켰습니다.

기술 & 해결책

기술 & 해결책: NVIDIA는 빠르지만 작은 로컬 SSD와 크지만 느린 네트워크 저장소 사이에 ICMS라는 공유 저장 계층을 만들고, BlueField-4 DPU가 GPU와 ICMS 사이의 데이터 이동과 저장 관리를 맡도록 했으며, LMCache·vLLM·SGLang의 캐시 재사용과 미리 읽기 기능으로 느린 저장장치의 한계를 보완했습니다.

교훈 & 주의점

교훈 & 주의점: 메모리 용량을 단순히 늘리는 것만으로는 부족하므로 KV cache의 반복 사용을 예측해 미리 옮기고 재사용해야 하며, DPU로 데이터 이동 부담을 분리하면 GPU는 연산에 집중하고 CPU 자원도 절약할 수 있습니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.