Blog — FuriosaAI
Furiosa SDK 2026.4: Enhanced MoE performance, hierarchical caching, expanded model coverage
AI 엔지니어링 브리핑
Furiosa SDK 2026.4는 다양한 AI 모델을 더 적은 전력으로 빠르게 실행하고, 반복 작업을 줄이며, 모델 배포를 간단하게 만든 업데이트다.
문제 & 배경
- 문제 & 배경: 기존에는 NPU 메모리가 부족하면 긴 문맥을 다시 계산해야 했고, 이미지와 텍스트를 함께 처리하는 모델은 별도 방식으로 운영했으며, 모델 실행 전에 서버에서 커널을 컴파일해야 하는 불편도 있었다.
기술 & 해결책
- 기술 & 해결책: NPU 메모리뿐 아니라 호스트 메모리와 클러스터 저장소까지 계층형 KV 캐시로 활용하고, 이미지 처리와 캐시 재사용을 일반 스케줄러에 통합했으며, 미리 컴파일한 실행 파일 묶음인 FXB로 모델을 즉시 실행하도록 개선했다.
교훈 & 주의점
- 교훈 & 주의점: 여러 모델에서 전력 대비 생성량과 처리 속도가 향상됐지만, 계층형 캐시와 NPU 샘플링은 아직 실험 기능이고 캐시 저장소 설정이나 최초 프로파일링 시간, 업그레이드 시 기존 형식 제거를 반드시 확인해야 한다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.