블로그 | Patty · 2026. 10. 12.
SpireBench로 본 에이전트의 긴 호흡, 왜 끝까지 가면 무너질까
AI 엔지니어링 브리핑
SpireBench는 에이전트가 짧은 문제를 푸는 데서 그치지 않고, 초반 선택의 결과를 끝까지 관리하며 긴 작업을 완수할 수 있는지를 Slay the Spire 게임으로 평가한 연구입니다.
문제 & 배경
- 문제 & 배경: 기존 평가는 짧은 과제를 따로 채점해 초반 선택이 후반 결과에 누적되는 어려움을 잘 보여주지 못했으며, 실제로 모델은 초반에는 잘하다가 2막 이후 전략·체력 관리·전투 실행에서 자주 무너졌습니다.
기술 & 해결책
- 기술 & 해결책: 연구진은 Slay the Spire 전체 플레이를 평가 환경으로 삼아 20개 대형 언어 모델을 최고 난도에서 반복 실행하고, 승률·막별 도달률·전투 성과를 비교했으며, 게임 용어를 모두 바꾼 실험으로 외운 지식과 실제 판단 능력을 구분했습니다.
교훈 & 주의점
- 교훈 & 주의점: 모델은 평균적인 사람 수준까지 도달했지만 전문가와의 격차, 체력을 아끼다 성장을 놓치는 경향, 익숙한 지식에 대한 의존, 검증되지 않은 메모의 반복 문제가 남아 있어 긴 작업에서는 후반 붕괴 지점을 함께 평가하고 기억의 정확성을 검증해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.