스캐터랩 블로그 · 2020. 04. 17.
TensorFlow TPU 학습 101
AI 엔지니어링 브리핑
이 글은 TensorFlow 2.0 모델을 Google Colab이나 GCP의 TPU에서 학습시키는 방법과, TPU를 안정적으로 활용하기 위해 알아야 할 원리를 설명합니다.
문제 & 배경
- 문제 & 배경: TPU는 CPU나 GPU보다 머신러닝 연산을 빠르게 처리하지만 사용 방식이 다르고, 특히 무료 Colab 환경에서는 연결이 끊기거나 오류 원인을 알기 어려운 문제가 생길 수 있습니다.
기술 & 해결책
- 기술 & 해결책: XLA가 학습 그래프를 미리 분석해 불필요한 계산과 메모리 사용을 줄이고, TensorFlow 2.0의 TPUStrategy가 모델과 데이터를 TPU 여러 코어에 나누어 실행하도록 하며, TPUClusterResolver로 Colab 또는 GCP의 TPU에 연결합니다.
교훈 & 주의점
- 교훈 & 주의점: Metric 초기화와 모델의 compile·fit은 반드시 strategy.scope() 안에서 실행해야 하며, 중요한 학습은 불안정한 무료 Colab보다 GCP를 사용하고 작업이 끝나면 TPU와 인스턴스를 삭제해 추가 비용을 막아야 합니다.
함께 읽을 글
내용이 비슷해요내용이 비슷한 글을 먼저 보여드려요. 같은 문제나 해결책을 다룬다는 뜻은 아니에요.