Holo4, 컴퓨터를 직접 쓰는 에이전트를 받치는 법

문제 & 배경: 컴퓨터 화면은 창 크기, 스크롤, 팝업과 알림에 따라 계속 달라지므로 화면을 이해하고 정확한 위치를 찾아 순서대로 긴 작업을 수행하는 일이 어렵습니다.

기술 & 해결책: Holo4는 스크린샷과 상호작용 기록, 사람의 시연, 합성 작업을 함께 학습해 화면 상태를 파악하고 요소의 위치를 찾으며, 실행 중 화면 변화에 맞춰 계획을 계속 수정하도록 합니다.

교훈 & 주의점: 실제 성능은 깨끗한 데모의 성공률보다 긴 작업에서 실수를 감지하고 복구하는 능력, 변화하는 화면에 대한 안정성, 그리고 결제·삭제처럼 위험한 행동에서 사람의 승인을 받는 안전장치로 평가해야 합니다.