부스트캠프 AI Tech 1기 [T1209 최보미]/U stage
Day39 학습정리 - 모델경량화4
B1001101
2021. 3. 18. 23:57
강의복습
1. 양자화 (Quantization)
더보기
1) 미니 코드: Floating-point operations
2) 강의 주제
- Fixed point, floating point
- Fixed point: 메모리가 적게 들고 연산 속도 빠름
- Floating point: 더 넓은 범위 표시 가능
- Precision: Variance, Accuracy: Bias
- Quantization이란
- 여러 quantization들
- Dynamic quantization
- Static quantization
- Quantization 결과 테이블 읽기
3) 토이 코드: Layer-wise histogram
2. 지식 증류 (Knowledge distillation)
더보기
1) 미니 코드: (Hard)Max, Argmax, Softmax
2) 강의 주제
- Knowledge
- Knowledge distillation
- Teacher-Student networks & Hinton loss
- Zero-mean assumption
- 여러 distillation들
3) 토이 코드: Teacher & student
코멘트
오늘 강의는 Quantization과 Knowledge distillation에 대한 내용이었다. 강의만 들을 때에는 knowledge distillation이 잘 안 와닿았는데 실습이랑 과제를 하면서 확실히 이해했다. Student 모델만 학습시킨 것과 비교해보니까 확실히 정확도가 더 높은 것을 볼 수 있었다.