블로그 | Patty · 2026. 10. 15.
오래 일하는 에이전트를 재는 법, 터미널에서 세 시간 버티기
AI 엔지니어링 브리핑
LHTB 2.0은 터미널 에이전트가 짧은 답변을 넘어 복잡한 작업을 세 시간 동안 얼마나 꾸준히 수행하는지 과정과 결과를 함께 측정하는 평가 방법을 제안합니다.
문제 & 배경
- 문제 & 배경: 기존의 짧은 과제 평가는 의존성 설치, 오류 수정, 로그 확인처럼 오래 이어지는 실제 터미널 작업에서 에이전트가 어디서 막히고 얼마나 지속하는지 보여주기 어려웠습니다.
기술 & 해결책
- 기술 & 해결책: 연구진은 작동하는 과학·공학 결과물을 바탕으로 다양한 과제를 자동 생성하고, 77개 과제를 13개 분야와 8개 유형으로 구성한 뒤, 30분마다 중간 진행을 확인하는 단계별 점수와 숨겨진 평가 시나리오를 함께 사용했습니다.
교훈 & 주의점
- 교훈 & 주의점: 최종 성공 여부만 보면 중간까지 잘 진행한 에이전트도 실패로 묶이므로 과정 점수를 함께 봐야 하며, 자동 생성 과제는 공개 예시 암기나 특정 유형에만 맞춘 편법을 막도록 지속적으로 검증하고 보완해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.