인프런은 영상 화면 속 글자도 번역합니다

문제 & 배경: 강의 영상에는 슬라이드 글자뿐 아니라 코드·버튼·터미널 같은 요소도 섞여 있고, 영상 전체를 프레임마다 분석하면 처리 비용이 커지며 화면이 깜빡일 수 있었습니다.

기술 & 해결책: OCR로 글자를 찾은 뒤 XY Cut과 VLM으로 번역할 글자와 문단을 구분하고, 화면 변화가 없는 영역은 이전 결과를 재사용하며, 원문을 배경색으로 가린 자리에 번역문을 오버레이했습니다.

교훈 & 주의점: 번역 데이터를 영상에 직접 인코딩하지 않아 수정과 언어 추가가 쉽고 전송 부담도 적지만, 사진·그라데이션 배경이나 움직이는 글자는 아직 자연스럽게 처리하기 어려워 지속적인 개선이 필요합니다.