Evaluating AI agents: moving past the vibe check

문제 & 배경: 몇 가지 질문을 직접 입력해 답변만 확인하는 ‘감’에 의존한 테스트로는 잘못된 도구 호출, 반복 작업, 환각, 지연, 과도한 토큰 사용과 같은 숨은 장애를 발견하기 어렵다.

기술 & 해결책: 사용자 여정을 구체적인 시나리오로 만들고 시뮬레이션 사용자와 실행 추적을 수집한 뒤, 수동 검토와 통과·실패형 자동 검사, 품질·지연 시간·비용·도구 호출 수 측정을 결합해 에이전트의 전체 동작을 반복적으로 검증한다.

교훈 & 주의점: 테스트 데이터를 고정한 채 한 번에 한 가지씩 변경하고, 작은 개선을 지속적으로 측정하며, OpenTelemetry와 OpenInference 같은 표준 추적 형식 및 CI/CD 검사로 회귀를 막아야 한다.