NAVER D2 · 2026. 07. 06.

[AI 해커톤 후기] 코드와 문서만 읽은 LLM은 어떻게 사람과 같은 팀을 1위로 골랐을까

AI 엔지니어링 브리핑

네이버 AI 해커톤은 제한된 시간 안에 25개 팀의 결과물을 공정하게 평가하기 위해, LLM이 코드와 문서만 읽고 사람처럼 업무 자동화 수준을 판단할 수 있는지 시험한 사례입니다.

문제 & 배경

문제 & 배경: 하루 만에 만든 MVP 25개를 모두 직접 실행해 평가하기에는 시간이 부족해, 제출 코드와 문서를 일관되고 빠르게 비교할 방법이 필요했습니다.

기술 & 해결책

기술 & 해결책: Codex 기반 코딩 에이전트에 평가 절차와 채점 기준을 하나의 규칙으로 정의하고, 각 팀의 코드와 문서를 읽게 하여 사용자의 반복 업무를 실제로 얼마나 줄였는지와 그 근거를 점수로 매기게 했습니다.

교훈 & 주의점

교훈 & 주의점: 단순히 AI를 사용했는지가 아니라 검색이나 화면 이동을 넘어 입력·판단 같은 업무를 얼마나 끝까지 대신하는지가 중요했으며, 이 방식은 소규모 MVP에서는 가능성을 보였지만 복잡한 실제 서비스에 그대로 적용하기에는 한계가 있습니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.