AITER 분석: AMD가 ROCm inference 성능을 2배로 올린 방법

문제 & 배경: AMD MI300X는 하드웨어 성능에 비해 실제 대규모 언어 모델 추론 성능을 충분히 끌어내지 못했고, NVIDIA와의 성능 격차도 줄여야 했다.

기술 & 해결책: AITER는 연산별로 Triton·Composable Kernel·HIP·어셈블리 중 가장 적합한 방식을 선택하고, 자주 쓰이는 핵심 연산을 GPU에 맞게 최적화한 뒤 환경 변수와 실행 중 컴파일·캐시를 통해 vLLM이나 SGLang에 자동 적용했다.

교훈 & 주의점: 커널 최적화만으로도 같은 하드웨어의 성능을 크게 높일 수 있지만, 어셈블리는 개발과 유지보수가 어렵고 여러 최적화를 함께 사용할 때의 전체적인 조합 성능은 여전히 개선이 필요하다.