채팅으로 디자인하는 AI, 실제로 쓸까? — A/B 테스트와 사용자 행동 분석기

문제 & 배경: 사용자는 많았지만 대화의 절반 이상이 한 번의 요청으로 끝났고 결과 채택률과 재사용률도 기대에 못 미쳐, 단순히 응답이 느린 것만으로 이탈 이유를 설명하기 어려웠습니다.

기술 & 해결책: 노출 방식이 다른 실험군과 대조군을 비교하고, 도구를 단일 결과형과 목록형으로 나누어 알맞은 분모로 채택률을 계산한 뒤 사용자의 실제 요청과 처리 여부를 분석했습니다.

교훈 & 주의점: 같은 데이터라도 분모와 지표 정의에 따라 결론이 달라지므로 기준을 사전에 합의해야 하며, 사용량이 목표를 넘었다는 사실만으로 성공을 판단하지 말고 대화 지속과 재사용 같은 행동까지 살펴야 합니다.