Cost per task: Using cheap classifiers to route across Gemini models and thinking levels

문제 & 배경: 모든 판단을 깊이 생각하는 비싼 모델에 맡기면 불필요한 추론·재시도 비용이 커지고, 정규식이나 입력 길이에만 의존한 단순한 분류 규칙은 처음 본 작업에서 자주 틀렸다.

기술 & 해결책: Jev 같은 가벼운 분류기를 앞에 두고 작업이 여러 단계의 계산이나 추론을 필요로 하는지만 간단한 예·아니오 질문으로 판단한 뒤, 쉬운 작업은 Flash-Lite에 보내고 어려운 작업만 Gemini Flash의 낮은 사고 수준으로 넘겼다.

교훈 & 주의점: 출력 토큰 상한을 낮추는 것만으로는 사고량과 비용이 줄지 않으므로 사고 수준을 직접 낮춰야 하며, 짧고 독립적인 작업에는 라우팅이 효과적이지만 긴 문맥을 반복해서 보내는 작업은 모델을 자주 바꾸면 캐시 절약 효과가 사라질 수 있으니 실제 성공 비용·정확도·지연 시간을 직접 측정해야 한다.