노타의 MoE LLM 양자화 연구 2편, ICML 2026 워크숍에 나란히 이름을 올리다

MoE 모델은 일부 전문가만 계산에 사용하지만 모든 전문가를 메모리에 올려야 하며, 양자화 과정에서 작은 수치 변화만으로도 선택 전문가가 달라져 모델의 계산 경로와 성능이 크게 변할 수 있었습니다.

DREAM-MoE는 선택된 전문가와 경계에 있는 전문가의 순위를 보존하고 이후 라우터의 영향까지 고려하며, SRA-MoE는 실제 출력이 달라지는 토큰에만 라우터 정렬을 적용해 불필요한 작업 없이 라우팅 안정성을 높였습니다.

실험에서 두 방법은 여러 3·4비트 설정에서 기존 방식보다 정확도를 높였으며, MoE 양자화에서는 모든 수치 차이를 줄이기보다 실제 출력에 영향을 주는 전문가 선택과 라우팅 변화를 우선 보존해야 한다는 점을 보여주었습니다.