요청서 작성의 허들을 낮추는 AI 요청서 설계기 : Embedding, Vector Search, 그리고 LLM

문제 & 배경: 기존에는 고객이 서비스를 고르고 많은 질문에 하나씩 답해야 해서 질문 수가 늘어날수록 이탈이 증가했으며, 자연어만으로도 적절한 서비스와 답변을 정해야 했습니다.

기술 & 해결책: 서비스 정보를 임베딩해 저장한 뒤 Hybrid Search로 의미와 키워드가 맞는 후보를 좁히고, Cross-Encoder와 LLM으로 최종 서비스를 판별했으며, 별도 LLM이 자연어를 질문지 답변으로 변환하도록 구성했습니다.

교훈 & 주의점: 검색 후보를 지나치게 많이 주면 비용과 오답이 늘어나므로 단계별로 범위를 줄이고, 모르는 정보는 추측하지 않고 null로 처리해야 하며, GPU 적용으로 지연 시간을 약 6초에서 300ms로 낮췄습니다.