Day39 학습정리 - 모델경량화4

강의복습

1. 양자화 (Quantization)

1) 미니 코드: Floating-point operations

2) 강의 주제

• Fixed point, floating point
  • Fixed point: 메모리가 적게 들고 연산 속도 빠름
  • Floating point: 더 넓은 범위 표시 가능
  • Precision: Variance, Accuracy: Bias

• Quantization이란
• 여러 quantization들
  
  • Dynamic quantization
  • Static quantization

 

• Quantization 결과 테이블 읽기

3) 토이 코드: Layer-wise histogram

2. 지식 증류 (Knowledge distillation)

1) 미니 코드: (Hard)Max, Argmax, Softmax

2) 강의 주제

• Knowledge
• Knowledge distillation
  • baeseongsu.github.io/posts/knowledge-distillation/

• Teacher-Student networks & Hinton loss
• Zero-mean assumption
• 여러 distillation들

3) 토이 코드: Teacher & student

---

코멘트

오늘 강의는 Quantization과 Knowledge distillation에 대한 내용이었다. 강의만 들을 때에는 knowledge distillation이 잘 안 와닿았는데 실습이랑 과제를 하면서 확실히 이해했다. Student 모델만 학습시킨 것과 비교해보니까 확실히 정확도가 더 높은 것을 볼 수 있었다.