블로그 | Patty · 2026. 10. 17.

낯선 것과 위험한 것을 가르는 법

AI 엔지니어링 브리핑

이 글은 이미지와 글을 함께 이해하는 AI가 낯선 요청을 위험한 요청으로 착각하지 않도록, 판단 점수뿐 아니라 그 판단을 뒷받침하는 주변 사례와 근거까지 확인하는 안전 방법을 소개한다.

문제 & 배경

문제 & 배경: 기존 안전 필터는 유해함과 낯섦을 제대로 구분하지 못해 정상적인 새 형식의 요청을 막거나, 반대로 교묘한 탈옥 요청을 놓칠 수 있었다.

기술 & 해결책

기술 & 해결책: CNRF는 같은 문맥의 무해한 요청과 유해한 요청을 비교해 위험 방향을 찾고, 주변에 믿을 만한 비교 사례가 있는지도 따로 확인한 뒤, 근거가 충분한 요청만 같은 모델의 재검토로 보내 답변을 안전한 방향으로 수정한다.

교훈 & 주의점

교훈 & 주의점: 방어율과 정상 작업의 유용성을 함께 유지하는 가능성을 보였지만, 새로운 문맥에서 비교 쌍을 만드는 비용과 이웃을 정하는 기준, 안전한 수정이 표현만 바꾼 것인지 실제 위험 능력을 낮춘 것인지 추가 검증이 필요하다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.