ScarfBench로 보는 엔터프라이즈 자바 마이그레이션과 AI 에이전트 평가

엔터프라이즈 자바 마이그레이션은 의존성이나 코드 몇 줄만 바꾸는 일이 아니라 여러 모듈, 설정 파일, 빌드 도구와 서버 환경이 함께 얽혀 있어 수정 후에도 컴파일·실행 오류가 이어지는 어려운 작업이다.

에이전트에게 저장소 전체를 탐색하고 필요한 파일과 설정을 찾아 수정한 뒤 Maven·Gradle 빌드와 테스트를 반복 실행하며 오류를 고치게 하고, 글자 모양의 유사도보다 실제 컴파일·테스트·숨은 검증 통과 여부로 결과를 평가한다.

좋은 평가는 단순한 성공률뿐 아니라 작업 범위, 실행 조건, 시도 횟수와 결과의 안정성까지 확인해야 하며, 본문에는 ScarfBench의 세부 과제나 점수는 확인되지 않았으므로 추정해서 받아들이지 말아야 한다.