데이터 사이언스/데이터 엔지니어링
T아카데미 - 데이터 엔지니어링 기초 (1)미래의 데이터 엔지니어
B1001101
2022. 4. 20. 23:56
강의영상
강의 요약
- 사전준비
- Google Cloud Platform 가입
- 데이터 분야의 직업
- 데이터 분석가, 사이언티스트
- 비즈니스 분석가
- 데이터 엔지니어
- 데이터 엔지니어
- 역할정의 잘 안 되어 있음
- 데이터 파이프라인을 만드는 사람
- 만능 서포터(개발/도메인지식/파이프라인/관리/지표)
- 데이터 엔지니어링의 히스토리
- 직접 구현(컴퓨터 조립까지)
- 초창기의 하둡은 자동복구가 되긴 하지만 고장나는 것이 더 많고, 성능 스케일이 되긴 되는데 성능이 떨어지는 게 더 많았음 → 생산성이 높지 않았음
- 오픈소스
- 클라우드
- 서비스화
- Fully Managed Service
- 직접 구현(컴퓨터 조립까지)
- 미래의 데이터 엔지니어
- 다 만들 줄 알면서, 서비스를 활용해서 시간을 아낄 줄 아는 사람
- 서비스를 여러 개 엮어서 최종 산물을 잘 만들어낼 줄 아는 사람