스캐터랩 블로그 · 2023. 11. 17.
RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?
AI 엔지니어링 브리핑
이 글은 RLHF를 사용하지 않고도 대규모 언어 모델이 사람의 선호와 안전성 피드백을 배우도록 만드는 여러 방법을 비교한다.
문제 & 배경
- 문제 & 배경: 유용하고 안전한 대화형 모델을 만들려면 답변에 대한 피드백 학습이 필요하지만, 기존 RLHF는 구현과 운영이 복잡해 더 쉬운 대안이 요구되었다.
기술 & 해결책
- 기술 & 해결책: RRHF, SLiC-HF, DPO, 거부 샘플링 기반 미세 조정 등을 Vicuna 모델과 Anthropic의 Helpful and Harmless 데이터셋에 적용하고, 보상 점수·KL 발산·GPT-4 평가·사람 평가로 성능과 안전성을 비교했다.
교훈 & 주의점
- 교훈 & 주의점: 방법마다 답변 품질과 안전성, 자연스러움의 균형이 달랐으며, 특히 RRHF는 부자연스러운 답변이 많았고 어떤 방법이 항상 최선이라고 단정하기보다 목적에 맞는 평가 기준을 함께 살펴야 한다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.