홈- Google Developers Blog
The Outer Loop, Insights First: An Ambient Quality Agent That Diagnoses Your Production Agent
AI 엔지니어링 브리핑
AQuA는 운영 중인 AI 에이전트의 대화를 계속 살펴보며 반복되는 품질 문제를 찾아 원인과 개선 방향까지 알려주는 자동화 도구다.
문제 & 배경
- 문제 & 배경: 에이전트가 오류 없이 정상 응답하더라도 좌석 확인을 생략하거나 사용자의 식단 조건을 잊는 등 실제 업무를 잘못 처리할 수 있는데, 운영 환경의 모든 대화를 사람이 직접 분석하기는 어렵다.
기술 & 해결책
- 기술 & 해결책: AQuA는 Cloud Trace·Logging·BigQuery에서 대화 일부를 가져와 문제를 평가하고, 같은 원인의 실패를 묶은 뒤 전체 대화로 검증하며, 배포 당시 코드 스냅샷과 대조해 문제 구간과 수정 방향을 제시한다.
교훈 & 주의점
- 교훈 & 주의점: 모델의 판단은 검증 전 가설일 수 있으므로 여러 대화와 코드 인용으로 확인해야 하며, 실제 적용 전에는 수정안을 재현 테스트로 검증해야 한다—이 방식으로 좌석 확인 누락과 식단 조건 전달 문제를 크게 줄였지만, 도구 설정 오류 같은 문제는 별도로 남았다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.