스캐터랩 블로그 · 2023. 09. 13.
멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어?
AI 엔지니어링 브리핑
이미지와 앞선 대화 내용을 함께 이해하는 챗봇을 만들기 위해 이미지 이해 능력과 멀티턴 대화 학습을 결합한 방법을 소개합니다.
문제 & 배경
- 문제 & 배경: 기존 모델은 이미지를 설명하는 데는 일정한 성능을 보였지만, 여러 차례 이어지는 대화에서 이미지와 이전 문맥을 함께 반영해 자연스럽게 답하는 데 한계가 있었습니다.
기술 & 해결책
- 기술 & 해결책: 고정된 GPT-2 기반 언어 모델과 ImageNet으로 학습한 비전 인코더를 연결하고, 기존 이미지 설명 데이터에 더해 틀린 답변을 고치거나 다음 대화를 이어 작성한 멀티턴 이미지 대화 데이터로 학습했습니다.
교훈 & 주의점
- 교훈 & 주의점: 이미지 설명 학습과 대화 학습을 어떤 순서와 조합으로 진행하는지가 성능에 영향을 주므로, 이미지와 문맥의 관련성 및 여러 이미지가 등장하는 상황까지 나누어 평가해야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.