HyperAccel Tech Blog · 2026. 08. 12.

[메모리 이해하기 - Part 05] CXL Workload 알아보기

AI 엔지니어링 브리핑

CXL은 빠르지만 비싼 메모리를 대체하기보다, 그보다 느리지만 큰 메모리 공간을 추가해 AI와 클라우드의 용량 부족 문제를 해결하는 기술입니다.

문제 & 배경

문제 & 배경: LLM의 KV cache와 클라우드 VM의 메모리 수요가 커지면서 GPU HBM이나 서버의 로컬 DRAM만으로는 용량이 부족해지고, SSD나 외부 메모리를 사용하면 데이터 이동과 지연 관리가 복잡해졌습니다.

기술 & 해결책

기술 & 해결책: CXL Type 3 메모리를 호스트 주소 공간에 연결해 CPU가 일반 메모리처럼 접근하도록 만들고, 이를 KV cache 저장·전송, 여러 서버가 나눠 쓰는 메모리 풀, 그리고 자주 쓰는 데이터는 DDR에 덜 쓰는 데이터는 CXL에 두는 계층형 메모리에 활용했습니다.

교훈 & 주의점

교훈 & 주의점: CXL은 모든 데이터를 맡기는 만능 해법이 아니라 용량이 중요하고 지연에 비교적 관대한 데이터에 적합하며, 자주 접근하는 핵심 데이터는 여전히 HBM이나 DDR에 두고 데이터 특성에 맞춰 계층을 설계해야 합니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.