ML Drift: Next-Gen GPU AI/ML Inference at the Edge

문제 & 배경: 엣지 기기는 GPU 종류와 드라이버, 실행 방식이 매우 다양하고 기존 TFLite GPU 가속기는 복잡한 최신 모델과 큰 메모리·연산 요구를 충분히 다루기 어려웠다.

기술 & 해결책: ML Drift는 텐서의 논리적 구조와 실제 GPU 저장 방식을 분리하고, 여러 GPU 환경에서 공통으로 쓸 수 있는 셰이더와 5차원 텐서·맞춤 연산·LLM 단계별 최적화를 제공해 다양한 모델을 효율적으로 실행한다.

교훈 & 주의점: YouTube Shorts와 Google Photos 등에서 지연 시간과 처리 속도가 개선됐으며, 기존 TFLite GPU 가속기는 새 기능이 중단되므로 호환성을 활용해 LiteRT ML Drift 가속기로 이전하는 것이 권장된다.