T아카데미 - 데이터 엔지니어링 기초 (6)Google Kubernetes Engine

강의영상

강의 요약

• Google Kubernetes Engine
  • https://subicura.com/2019/05/19/kubernetes-basic-1.html
• 실습
  • Docker 설치
    • Window: https://blog.sapzil.org/2019/06/09/docker-desktop-for-windows-home/
    • Mac: https://daeson.tistory.com/290
  • Dockerfile, requirements.txt 작성
    • Dockerfile: Docker 설정
    • requirements.txt: 필요한 모듈 정보
  • Docker 실행: docker run -d -p 80:80 docker/getting-started
  • 이미지 빌드: docker build -t tweet .
  • gcloud: Docker 이미지를 google cloud에 올리는데 필요
    • 설치
      • https://cloud.google.com/sdk/docs/install-sdk?hl=ko
      • https://warehousekeeper.tistory.com/3
    • gcloud init → 구글 계정, 프로젝트 선택, 나머지는 기본으로 설정
  • Docker 이미지 올리기
    • docker tag tweet gcr.io/프로젝트아이디/tweet
    • docker push gcr.io/프로젝트아이디/tweet
    • GCP 콘솔 → Container Registry에서 이미지 확인
  • Google Kubernetes Engine에 배포
    • Container Registry에서 이미지 이름 클릭 → 다이제스트 세부정보에서 배포 클릭 → GKE에 배포
    • BigQuery 들어가서 잘 되고 있는지 확인
    • 에러 났을 때: Kubernetes Engine → 작업부하 → 배포 세부정보에서 로그 확인
    • 실습 마친 후에는 클러스터 삭제해야 과금 안 됨

 

실습 코드

dockerfile

# Use an official Python runtime as a parent image
FROM python:3.7-slim

# Set the worrking directory to /app
WORKDIR /app

# Copy the current directory contents into the container at /app
ADD . /app

# Install any needed packages specified in requirerments.txt
RUN pip install --trusted-host pypi.python.org -r requirements.txt

# Define environment variable
ENV GOOGLE_APPLICATION_CREDENTIALS="/app/파일명.json"

# Run app.py when the coontainer launches
CMD ["python", "tweet.py"]

requirements.txt

google-cloud-pubsub==2.12.0
tweepy==4.8.0
python-dotenv==0.20.0