요즘IT » 피드
LLM 안내로봇의 월정액을 설계하며 마주한 문제들
AI 엔지니어링 브리핑
백화점 안내로봇의 LLM 서비스 PoC에서 사용자 증가에 따른 비용 급증 문제와 지속 가능한 월정액 설계의 고민을 다룬 글입니다.
문제 & 배경
주말 피크타임의 예상 밖 질문과 긴 대화 맥락으로 하루 토큰 사용량이 예상치의 3.8배까지 증가했습니다.
기술 & 해결책
AI 프로덕트의 지속 가능한 성장을 위해 서비스 원가 방정식을 고민한 경험을 소개합니다.
요즘IT » 피드
백화점 안내로봇의 LLM 서비스 PoC에서 사용자 증가에 따른 비용 급증 문제와 지속 가능한 월정액 설계의 고민을 다룬 글입니다.
주말 피크타임의 예상 밖 질문과 긴 대화 맥락으로 하루 토큰 사용량이 예상치의 3.8배까지 증가했습니다.
AI 프로덕트의 지속 가능한 성장을 위해 서비스 원가 방정식을 고민한 경험을 소개합니다.