블로그 | Patty · 2026. 10. 17.
갈림길에서 묻는 시험, SciPiVot이 재는 연구 판단
AI 엔지니어링 브리핑
SciPiVot은 과학 연구를 자동으로 수행하는 AI가 실험을 오래 진행하는 능력뿐 아니라, 중요한 순간에 계획을 바꾸고 올바른 방향을 선택하는 판단력까지 평가하는 연구다.
문제 & 배경
- 문제 & 배경: AI 에이전트는 몇 달 동안 실험을 이어갈 수 있지만, 어느 시점에 기존 계획을 버리고 다른 방향으로 전환해야 하는지 판단하는 능력은 여전히 부족했다.
기술 & 해결책
- 기술 & 해결책: 연구자들이 6개 분야의 26개 과제를 6개월간 관찰해 사람이 실제로 계획을 수정한 248개 장면을 모으고, AI가 수정 전 기록만 본 뒤 원래 계획과 사람이 고친 계획 중 더 나은 쪽을 고르게 했다.
교훈 & 주의점
- 교훈 & 주의점: 기록을 많이 제공하거나 다시 생각할 기회를 주는 것만으로는 성능이 안정적으로 좋아지지 않았고, 최고 모델 점수도 63.5점으로 연구자들의 73.4점보다 낮았으므로 매끄러운 설명보다 실제 갈림길에서 방향을 판단하는 능력을 별도로 평가하고 보완해야 한다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.