ACL 2023 Review

문제 & 배경: 유머 이해, 자연어 생성 평가, 지시 따르기, 다국어 일반화처럼 언어 모델이 사람처럼 reliably 수행하기 어려운 문제와 기존 데이터·평가 방식의 편향 및 한계를 다뤘습니다.

기술 & 해결책: 연구들은 프롬프트와 단계적 추론(CoT), 여러 모델의 답변을 고르는 앙상블, 사람과 언어 모델의 협업 데이터 제작, 다국어 파인튜닝과 작은 모델로의 지식 전달 등으로 성능과 활용성을 높이는 방법을 실험했습니다.

교훈 & 주의점: 언어 모델은 여러 작업에서 좋은 성능을 보이지만 사람 수준의 유머 설명이나 사실성에는 부족하고, 평가 편향·문화적 편향·오래된 테스트셋·추론 비용·겉으로만 지시를 따르는 현상을 함께 점검해야 합니다.