스캐터랩 블로그 · 2020. 03. 16.

핑퐁팀 ML 세미나, 그 네번째

AI 엔지니어링 브리핑

핑퐁팀의 네 번째 머신러닝 세미나는 기계가 사람의 말을 더 잘 이해하도록 만드는 최신 자연어 처리 연구들을 살펴보고 실제 적용 가능성과 한계를 함께 정리한 글입니다.

문제 & 배경

문제 & 배경: 자연어 처리 모델은 긴 문장을 다룰수록 계산량과 메모리 사용량이 커지고, 적은 데이터에서는 성능이 떨어지며, 문서 검색과 문체 변환처럼 아직 해결하기 어려운 문제도 남아 있었습니다.

기술 & 해결책

기술 & 해결책: Reformer는 비슷한 단어끼리만 관계를 계산하고 데이터를 나눠 처리하며 중간 결과 저장을 줄였고, 그 밖에도 단어 거리별 관심 범위를 나누는 방식, 의미와 문체를 조절하는 방식, 문서 검색을 위한 사전 학습과 빠른 응답 비교 구조 등을 제안했습니다.

교훈 & 주의점

교훈 & 주의점: 새로운 방법들은 계산량·메모리·검색 성능을 개선했지만 근사 계산으로 정확도가 낮아지거나 충분한 사전 학습과 큰 데이터가 필요할 수 있으며, 특히 한국어와 같은 실제 환경에 적용하려면 문제를 명확히 정의하고 추가 검증해야 합니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.