전문가의 절반을 내보냈습니다

문제 & 배경: 전문가들이 고르게 사용되지 않아 상위 10%가 라우팅의 70.4%를 차지하는 반면 하위 50%는 4.8%만 담당하므로, 많은 전문가가 사실상 거의 쓰이지 않는 문제가 있었습니다.

기술 & 해결책: 전문가를 제거했을 때 출력이 얼마나 변하는지(REAP), 게이트 사용량을 보지 않는 방식(MSAN), 토큰을 동일하게 세지 않는 방식(EasyEP)으로 남길 전문가를 골라 절반 또는 그 이하로 줄이고 성능과 사용자 지표를 비교했습니다.

교훈 & 주의점: 전문가를 절반 남겨도 사용자 이용 시간은 기준과 통계적으로 구별되지 않았고 GPU 모델 메모리는 약 절반으로 줄었지만, 4분의 1 이하로 줄이면 성능과 이용 시간이 눈에 띄게 악화되어 절감 폭과 품질 사이의 균형이 중요했습니다.