스캐터랩 블로그 · 2020. 09. 16.
핑퐁팀 ML 세미나, 그 여섯 번째
AI 엔지니어링 브리핑
핑퐁팀의 여섯 번째 머신러닝 세미나는 언어 모델이 문장을 이해하는 방식과 실제 성능을 제대로 평가하는 방법을 살펴본 자리였습니다.
문제 & 배경
- 문제 & 배경: Transformer 같은 모델이 벤치마크에서는 높은 점수를 얻어도, 그 결과가 실제 챗봇 사용자가 느끼는 좋은 대화 성능으로 이어지는지는 분명하지 않았습니다.
기술 & 해결책
- 기술 & 해결책: 연구팀은 검색 기반 대화형 질의응답, 문장 표현과 검색, 모델 행동 검사, 데이터 편향과 보안 공격 등 여러 연구를 함께 살펴보며 문장 표현이 결과에 미치는 영향과 모델을 다양한 관점에서 평가하는 방법을 탐구했습니다.
교훈 & 주의점
- 교훈 & 주의점: 모델의 품질을 단순한 벤치마크 점수만으로 판단하지 말고, 언어의 복잡성과 실제 사용 상황을 반영해 성능과 편향을 함께 점검해야 한다는 점을 강조합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.