속도와 비용의 열쇠: 멀티모달 AI 학습을 갉아먹는 ‘이미지 토큰 불균형’ 이야기

문제 & 배경: 이미지와 텍스트를 같은 길이로 꽉 채워도 이미지 토큰 수에 따라 비전 인코더의 계산량이 달라져, 가장 느린 GPU를 수천 대의 다른 GPU가 기다리는 병목이 발생했습니다.

기술 & 해결책: 각 GPU가 가진 데이터 상자는 그대로 둔 채 이미지 토큰 수를 공유해 무거운 작업과 가벼운 작업을 GPU 사이에 균등하게 재배치하고, 다음 작업의 데이터 이동을 현재 계산 중에 미리 진행해 대기 시간을 숨겼습니다.

교훈 & 주의점: 이 방법은 학습 결과를 바꾸지 않으면서 프로덕션 환경의 처리량을 13.3% 높였지만, 장시간 학습에서 메모리 누수 같은 문제가 드러날 수 있으므로 통신·계산 겹치기와 충분한 스트레스 테스트가 함께 필요합니다.