Day38 학습정리 - 모델경량화3

강의복습

1. Acceleration

1) 미니 코드: List operations

2) 강의 주제

• Acceleration
• Hardwares (chip)
• Compression & acceleration
• Deep learning compiler

3) 토이 코드: Parallel processing

2. Pruning for network compression

1) 미니 코드: Masking

2) 강의 주제

• Weighted sum
• Pruning이란
• 여러 Pruning들
  • Global Magnitude Pruning
  • Layerwise Magnitude Pruning
  • Global Gradient Magnitude Pruning
  • Layerwise Gradient Magnitude Pruning
  • Random Pruning

• Lottery ticket hypothesis
  • seing.tistory.com/47

3) 토이 코드: Why is pruned model larger?

---

코멘트

Pruning에 대해 들어본 적은 있지만 자세히는 몰랐는데 오늘 강의에서 다뤄서 집중해서 들었다. Pruning에도 여러가지 종류가 있어서 놀랐다.