Day11 학습정리 - 딥러닝 기초

강의 복습

1. 베이즈 통계학 맛보기

1) 조건부확률 & 베이즈 정리

2) 조건부 확률의 시각화

	𝜃	¬𝜃
𝒟	True Positive P(𝒟|𝜃)P(𝜃)	False Positive (1종 오류) P(𝒟|¬𝜃)P(¬𝜃)
¬𝒟	False Negative (2종 오류) P(¬𝒟|𝜃)P(𝜃)	True Negative P(¬𝒟|¬𝜃)P(¬𝜃)

• 민감도(Recall): P(𝒟|𝜃)
• 오탐(False alarm): P(𝒟|¬𝜃)
• 특이도(Specificity): P(¬𝒟|¬𝜃)
• 정밀도(Precision): P(𝜃|𝒟) = TP/(TP+FP)

3) 베이즈 정리를 통한 정보의 갱신

• 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산
• 인과관계(causality)를 추론할 때 조건부확률 함부로 사용해서는 안됨

2. 딥러닝 기본 용어 설명

1) Introduction

• What make you a good deep learner?
  • Implementation Skills
  • Math Skills (Linear Algebra, Probability)
  • Knowing a lot of recent papers
• Artificial Intelligence ⊃ Machine Learning ⊃ Deep Learning
  
  • Artificial Intelligence(AI): Mimic human intelligence
  • Machine Learning(ML): Data-driven approach
  • Deep Learning(DL): Neural networks
• Key Components of Deep Learning
  
  • data
  • model
  • loss
  • algorithm

2)Historical Review

• 2012 - AlexNet
• 2013 - DQN
• 2014 - Encoder / Decoder, Adam Optimizer
• 2015 - Generative Adversarial Network, Residual Networks
• 2017 - Transformer
• 2018 - BERT (fime-tuned NLP models)
• 2019 - BIG Language Models
• 2020 - Self Supervised Learning

3. PyTorch 시작하기

• Numpy 구조를 가지는 Tensor 객체로 array 표현
• 자동미분을 지원하여 DL 연산 지원
• 다양한 형태의 DL을 지원하는 함수와 모델을 지원
• VSCode에 Colab 연동해서 사용할 수 있음

4. 뉴럴 네트워크 - MLP

1) Neural Networks

• Linear Neural Networks
• Nonlinear Neural Network
• Activation function 

2) Multi-Layer Perceptron

•  Loss function
  • Regression Task  ex)MSE
  • Classification Task  ex)CE
  • Probabilistic Task  ex)MLE

5. 데이터셋 다루기

• PyTorch 데이터셋: torch.utils.data.Dataset 상속
  • __init__, __len__, __getitem__ 메소드
• MNIST: torchvision.datasets 안에 있음
• 이미지 데이터: PIL 사용
  • from PIL import Image

---

코멘트

이번주부터는 본격적으로 딥러닝에 대해 배운다. PyTorch 함수들을 검색해보고 코드를 한 줄 한 줄 분석해보면서 익숙해져야겠다.