스캐터랩 블로그 · 2023. 08. 30.
더 나은 생성모델을 위해 RLHF로 피드백 학습시키기
AI 엔지니어링 브리핑
RLHF는 사람이 더 좋은 답변이라고 평가한 피드백을 보상으로 바꾸어, 생성모델이 안전하고 자연스럽게 사람의 의도에 맞는 답변을 하도록 조정하는 방법이다.
문제 & 배경
- 문제 & 배경: 사전 학습만 거친 생성모델은 욕설·편향·부정확한 정보나 부자연스러운 답변을 만들 수 있고, 사람의 의도와 다른 답변이나 환각도 발생해 서비스에 바로 적용하기 어려웠다.
기술 & 해결책
- 기술 & 해결책: 먼저 좋은 질문과 답변 예시로 SFT를 진행한 뒤, 사람들이 답변 후보의 선호 순위를 매겨 리워드 모델을 만들고, PPO와 KL 패널티를 사용해 높은 평가를 받으면서도 원래 모델에서 지나치게 벗어나지 않도록 학습했다.
교훈 & 주의점
- 교훈 & 주의점: 루다 실험에서는 평균 리워드 점수가 1.23에서 1.36으로 높아졌지만, 학습이 계속되면 모델이 리워드 모델의 약점을 이용하는 리워드 해킹이나 특정 말투만 반복하는 현상이 생길 수 있어 강건한 평가 모델과 메모리·학습 안정성 최적화가 중요하다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.