루다, 눈을 뜨다! 포토챗 베타의 멀티모달 기술 소개

이미지에 맞는 자연스럽고 구체적인 댓글을 자동으로 작성하려면 이미지 수집과 댓글 분류가 필요하고, 이미지 내용을 잘못 설명하거나 세부사항을 놓치는 문제가 있었습니다.

이미지를 이해하는 여러 비전 인코더와 댓글 후보를 찾아주는 리트리벌 모델, 새 댓글을 만들어내는 생성 모델을 실험해 이미지와 관련된 답변을 만들도록 했습니다.

실험에서는 리트리벌 방식이 생성 방식보다 이미지와 모순되지 않고 세부사항과 관련된 답변을 더 안정적으로 제공했으며, 앞으로는 생성 방식의 개선과 여러 차례 대화, 이미지 속 글자 활용이 과제로 남았습니다.