Trino resource optimize on YARN

Trino 사용량이 빠르게 증가하면서 기존 YARN 클러스터 자원을 효율적으로 활용해야 했고, Worker가 필요한 순간에만 자원을 받는 것이 아니라 계속 점유하는 특성 때문에 리소스 구성을 점검할 필요가 있었습니다.

Trino를 YARN 애플리케이션으로 배포하고 전용 큐를 구성한 뒤, Hadoop 데몬이 사용할 자원을 남기고 애플리케이션 마스터와 노드의 자원 배분 및 예약된 자원을 함께 고려해 설정을 최적화했습니다.

장비 증설에 앞서 YARN과 Trino의 자원 할당 방식을 이해하고 기존 자원을 재조정하면 쿼리 처리에 사용할 수 있는 메모리를 약 40% 늘릴 수 있다는 점을 보여줍니다.