tech.inflab.com · 2024. 12. 06.
신입 DevOps 엔지니어의 AI/ML 기반 자동화된 스팸 필터링 도입 경험기
AI 엔지니어링 브리핑
인프랩은 운영팀의 수작업 부담과 계속 바뀌는 스팸 문제를 줄이기 위해 GPT와 머신러닝을 결합한 자동 스팸 필터링 시스템을 단계적으로 구축했습니다.
문제 & 배경
- 문제 & 배경: 금지어와 GPT에 스팸 예시를 직접 추가하는 초기 방식은 새로운 유형이나 게시판별 차이에 유연하게 대응하기 어렵고, 여러 언어의 스팸도 잘 걸러내지 못했습니다.
기술 & 해결책
- 기술 & 해결책: 글을 숫자 특징으로 바꿔 학습하는 SGDClassifier를 AWS Lambda와 이벤트 처리 구조로 운영하고, S3에 모델을 저장해 주기적으로 다시 학습했으며, 다국어와 복잡한 유형은 ChatGPT와 특징 자동 생성 프롬프트로 보완했습니다.
교훈 & 주의점
- 교훈 & 주의점: ‘스팸·의심·정상’ 단계와 운영팀 알림을 두어 오탐을 줄이는 것이 중요했고, 자동화 도입 후 스팸 계정 생성이 76% 감소했으며 게시글 한 건 판별 비용은 0.05원으로 확인되었습니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.