T아카데미 - 데이터 엔지니어링 기초 (1)미래의 데이터 엔지니어

강의영상

강의 요약

1.  사전준비
   • Google Cloud Platform 가입
     • https://zzsza.github.io/gcp/2018/01/01/gcp-intro/
2. 데이터 분야의 직업
   • 데이터 분석가, 사이언티스트
   • 비즈니스 분석가
   • 데이터 엔지니어
3. 데이터 엔지니어
   • 역할정의 잘 안 되어 있음
   • 데이터 파이프라인을 만드는 사람
   • 만능 서포터(개발/도메인지식/파이프라인/관리/지표)
4. 데이터 엔지니어링의 히스토리
   • 직접 구현(컴퓨터 조립까지)
     • 초창기의 하둡은 자동복구가 되긴 하지만 고장나는 것이 더 많고, 성능 스케일이 되긴 되는데 성능이 떨어지는 게 더 많았음 → 생산성이 높지 않았음
   • 오픈소스
   • 클라우드
   • 서비스화
     • Fully Managed Service
5. 미래의 데이터 엔지니어
   • 다 만들 줄 알면서, 서비스를 활용해서 시간을 아낄 줄 아는 사람
   • 서비스를 여러 개 엮어서 최종 산물을 잘 만들어낼 줄 아는 사람