NAVER D2 · 2026. 09. 29.
Hive는 잊으려 했지만, Spark는 기억하고 있었다: 사라진 get_table RPC 복원기
AI 엔지니어링 브리핑
Hive Metastore를 Hive 4.2로 업그레이드한 뒤 Spark와의 호환성 문제를 추적해 사라진 get_table RPC를 복원한 과정을 설명한 글이다.
문제 & 배경
문제 & 배경: Hive Metastore를 Hive 4.2와 Kubernetes 환경으로 전환한 뒤, Hive 클라이언트는 정상 작동했지만 Spark가 테이블 정보를 조회할 때 서버에 get_table 메서드가 없다는 오류로 작업이 실패했다.
기술 & 해결책
기술 & 해결책: Hive와 Spark가 사용하는 Thrift 통신 규격을 확인한 결과 사라진 get_table RPC를 IDL과 서버 구현에 다시 추가해, Spark가 보내는 오래된 요청을 Metastore가 처리하도록 복원했다.
교훈 & 주의점
교훈 & 주의점: RPC 코드를 고칠 때는 직접 작성한 서버 코드뿐 아니라 Thrift가 자동 생성한 클라이언트·서버 코드까지 변경이 완전히 반영됐는지 확인해야 하며, 공용 인프라 업그레이드에서는 오래된 클라이언트와의 호환성을 반드시 검증해야 한다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.