[메모리 이해하기 - Part 02] HBF의 잠재 workload 찾아보기

문제 & 배경: HBF는 HBM보다 지연시간이 훨씬 길고 반복 쓰기에 약하며 작은 단위의 무작위 읽기에도 비효율적이어서, 일반적인 학습이나 자주 바뀌는 데이터에는 적합하지 않다.

기술 & 해결책: 한 번 저장한 뒤 예측 가능한 순서로 반복해서 읽는 CAG의 공유 KV 캐시와 모델 가중치를 HBF에 두고, 자주 바뀌는 데이터는 HBM에 맡기며, 미리 데이터를 가져오는 버퍼로 HBF의 느린 응답을 가렸다.

교훈 & 주의점: H³ 시뮬레이션은 긴 문맥에서 메모리 용량과 처리량 개선 가능성을 보였지만, MoE 가중치나 RAG 벡터 데이터베이스처럼 다른 활용처에는 접근 예측과 맞춤형 검색 회로 등 추가 기술이 필요하다.