스캐터랩 블로그 · 2026. 06. 10.
유저와 함께 만드는 LLM 2편 — 제타에 Online Learning 도입하기
AI 엔지니어링 브리핑
제타는 생성·채점·학습을 한 GPU에서 순서대로 처리할 때 생기는 자원 낭비와 메모리 부족을 줄이기 위해 비동기 Online Learning 구조를 도입했습니다.
문제 & 배경
- 문제 & 배경: 생성, 채점, 학습이 서로 기다리며 GPU가 놀고, vLLM과 학습 모델·리워드 모델이 메모리를 함께 사용하면서 메모리 파편화와 부족으로 인한 오류가 발생했습니다.
기술 & 해결책
- 기술 & 해결책: 생성 엔진과 리워드 모델을 추론 노드에 배치하고, 학습 노드에서 바뀐 가중치는 HTTP 대신 NCCL로 GPU 간 직접 전송했으며, 오래된 샘플은 정책 버전을 확인해 버리는 비동기 학습 방식을 적용했습니다.
교훈 & 주의점
- 교훈 & 주의점: 가중치 동기화 시간을 크게 줄이면서도 비동기 처리에서 샘플이 현재 정책과 지나치게 달라지지 않도록 지연 정도를 명시적으로 관리해야 하며, 허용 범위를 넓히면 처리량은 늘지만 학습 안정성이 떨어질 수 있습니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.