노타 블로그

모두의 AI·독파모·K-온디바이스, 왜 모든 국가 AI 사업 명단에 노타가 있을까?

AI 엔지니어링 브리핑

노타는 AI 모델을 스마트폰부터 데이터센터 GPU와 로봇용 NPU까지 각 하드웨어에 맞게 줄이고 재구성해 실제 서비스에서 작동하도록 만드는 기술로 여러 국가 AI 사업에 참여하고 있습니다.

문제 & 배경

문제 & 배경: 국가대표 모델 개발, 국민용 AI 서비스, 로봇 제어처럼 사업 목표는 달라도 모델이 커질수록 메모리·연산량·응답 속도와 하드웨어 제약 때문에 그대로 실행하기 어려운 공통 문제가 있었습니다.

기술 & 해결책

기술 & 해결책: 노타는 양자화와 가지치기로 모델 크기를 줄이고, 사용 빈도와 구조에 따라 압축 강도를 다르게 적용했으며, GPU와 NPU의 특성에 맞춰 연산 그래프와 실행 방식을 다시 구성해 적은 자원에서도 정확도와 속도를 유지하도록 했습니다.

교훈 & 주의점

교훈 & 주의점: 모델을 무조건 작게 만드는 것보다 실제 하드웨어와 사용 환경에서 정확도·지연 시간·로봇 작업 성공률을 함께 확인하며 최적화해야 하며, 노타는 이러한 방식으로 GPU 사용량과 추론 시간을 줄이면서 성능 저하를 제한했습니다.

내용이 비슷해요

내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.