스캐터랩 블로그 · 2023. 07. 10.
Deduplication - 학습 데이터에서 중복 제거하기
AI 엔지니어링 브리핑
대규모 언어 모델 학습 데이터에서 비슷한 문서를 효율적으로 찾아 제거해 더 깔끔한 데이터셋을 만드는 방법을 설명한 글입니다.
문제 & 배경
- 문제 & 배경: 여러 출처에서 모은 데이터에는 광고 문구나 수집 과정의 잡음이 섞인 비슷한 문서가 많았지만, 모든 문서끼리 직접 비교하면 데이터 규모가 너무 커 현실적으로 처리하기 어려웠습니다.
기술 & 해결책
- 기술 & 해결책: LSH로 비슷할 가능성이 높은 문서만 묶은 뒤 자카드 유사도와 편집 거리 유사도를 차례로 확인하고, 중복으로 판단된 문서 중 더 긴 문서를 삭제했으며 Apache Beam으로 각 단계를 병렬 처리했습니다.
교훈 & 주의점
- 교훈 & 주의점: 중복 여부를 판단하는 기준값을 정해 단계적으로 비교 대상을 줄이면 대규모 데이터도 효율적으로 정제할 수 있고, 광고 같은 잡음이 추가된 경우에는 가장 짧은 문서를 남기는 방식이 유용했습니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.