조용히 어긋나는 에이전트 데이터 사이언스

문제 & 배경: 연구팀은 220개 과제에서 여러 에이전트와 모델을 시험한 결과, 코드가 정상 실행되고 점수도 나오더라도 데이터 리크나 잘못된 검증처럼 겉으로 드러나지 않는 방법론적 실수가 절반이 넘는 풀이에서 반복되는 문제를 확인했습니다.

기술 & 해결책: 실행 여부와 최종 점수만 보는 대신 여섯 가지 대표 실수를 각각 따로 시험하는 평가 묶음을 만들고, 데이터가 미래 정보를 미리 보지 않았는지와 시간 순서 및 검증 구간을 지켰는지 풀이 과정을 직접 확인하도록 했습니다.

교훈 & 주의점: 높은 정확도가 곧 올바른 결과를 뜻하지 않으므로 데이터 분할 방식과 외부 정보가 들어오는 지점을 먼저 점검하고, 리더보드에 점수와 함께 검증 절차를 기록해 에이전트의 결과를 신뢰할 수 있는지 판단해야 합니다.