비브로스 기술 블로그 · 2026. 10. 06.
AWS Agentcore와 Strands Agent를 활용한 AI 서버 구축기
AI 엔지니어링 브리핑
똑닥은 여러 LLM 기능을 안정적으로 운영하기 위해 AWS AgentCore와 Strands Agents를 활용하고, 기존 Kubernetes 서버는 호출을 중계하는 프록시로 남기는 AI 서버 구조를 만들었습니다.
문제 & 배경
문제 & 배경: 리뷰 분석과 요약 등 LLM 기능이 늘어나면서 호출 과정의 추적과 품질 평가를 직접 구축해야 했고, 기존 Kubernetes 기반 서버만으로는 운영 부담이 커졌습니다.
기술 & 해결책
기술 & 해결책: AgentCore Runtime은 LLM 호출 기록과 평가 기능을 제공하고 Strands Agents는 구조화된 응답과 모델 연동을 맡도록 했으며, Kubernetes 프록시는 권한과 기존 HTTP 계약을 유지하면서 요청을 각 에이전트로 전달했습니다.
교훈 & 주의점
교훈 & 주의점: 하나의 이미지로 여러 Runtime을 운영하되 에이전트별 설정을 명확히 분리하고, 요청마다 에이전트를 새로 만들며, 배포 전 준비 완료 상태와 실제 새 버전을 확인하고 오프라인·온라인·배치 평가를 함께 사용해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.