컬리 기술 블로그 · 2024. 09. 25.

LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

AI 엔지니어링 브리핑

컬리는 고객 리뷰에서 실제 구매에 도움이 되는 정보를 골라내기 위해 LLM의 단계적 판단과 근거 제시를 활용한 리뷰 검수 실험을 진행했습니다.

문제 & 배경

문제 & 배경: 기존 베스트 리뷰 요약은 대상 상품이 제한되고 오래된 리뷰가 반영되는 데다, 리뷰가 하나뿐이면 같은 내용을 반복하는 문제가 있어 최신 리뷰 중 유용한 내용을 선별해야 했습니다.

기술 & 해결책

기술 & 해결책: LLM에 리뷰가 해당 상품에 관한 것인지, 부정적인 내용은 없는지, 상품 특성 정보를 담고 있는지를 순서대로 확인하게 하고, true·false 결과와 판단 근거를 함께 내도록 프롬프트를 설계했습니다.

교훈 & 주의점

교훈 & 주의점: 검증 과정을 세부 단계로 나누고 근거를 함께 받으면 결과의 정확성과 운영상 투명성을 높일 수 있지만, LLM의 판단을 무조건 신뢰하기보다 운영자가 오류를 살펴 프롬프트와 방식을 계속 개선해야 합니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.