핑퐁팀 ML 세미나, 그 세번째

문제 & 배경: 이번 시즌에는 정해진 주제 없이 논문을 선택했으며, 당시 진행하던 문장 생성(Generation) 개념검증과 맞물려 대화 상태 추적, 지식 증류, 문체 변환, 응답 생성 등 다양한 연구를 살펴봤습니다.

기술 & 해결책: Transformer와 같은 최신 구조를 중심으로 대화의 현재 상태를 파악하고, 큰 모델의 지식을 작은 모델에 전달하거나 필요한 정보를 바탕으로 문장을 생성하고 문체를 바꾸는 방법들을 논문과 발표 자료로 검토했습니다.

교훈 & 주의점: Transformer는 문장 생성에 큰 가능성을 보여주지만 데이터 규모에 민감하고 모델이 무거워 실제 서비스에 적용하려면 더 가볍고 실용적으로 만드는 과제가 남아 있습니다.