스캐터랩이 가장 재밌는 LLM을 찾는 방법

문제 & 배경: 100개 안팎의 모델을 A/B 테스트로 비교하려면 많은 사용자가 필요하고, 성능이 나쁜 모델에 배정된 사용자는 계속 불편을 겪어 제품 지표까지 떨어질 수 있었습니다.

기술 & 해결책: Multi-Armed Bandit은 여러 모델을 조금씩 시험하면서도 성능이 확인된 모델에 더 많은 기회를 주고, 리더보드에서는 답변의 위치나 길이처럼 선택에 영향을 주는 요소도 함께 점검합니다.

교훈 & 주의점: 모델 비교는 사용자 단위보다 세션 단위로 분석하면 부담을 줄일 수 있지만, 위치·커서 거리·답변 길이 같은 편향을 고려해 실험을 설계해야 하며, Bandit은 A/B 테스트보다 나쁜 모델에 노출되는 위험을 줄일 수 있습니다.