Day40 학습정리 - 모델경량화5

강의복습

1. 행렬 분해 - Low-rank approximation for model compression

1) 미니 코드: Approximation

2) 강의 주제

• Three maps
  • Matrix(Tensor) is a data modeling tool
  • Matrix(Tensor) is a linear transformation(map)
  • 3원 1차 연립방정식(Three-way first-order system of equations)
  • Gaussian elimination
  • Filter decomposition: ex) Conv. layers
    Matrix factorization: 2차원 데이터
    Tensor factorization: 고차원 데이터

• Kernel method
• Matrix decomposition
  • Eigenvalue Decomposition(EVD)
  • Singular Value Decomposition(SVD): generalization of EVD
  • Principal Component Analysis(PCA): 참고

• Tensor decomposition
  • CP(Canonical Polyadic) decomposition

여러가지 Decomposition

• Tensor decomposition on network compression 
  • MobileNet
  • Network decoupling

3) 토이 코드: CP decomposition

2. 회고(Retrospect)

---

코멘트

오늘 강의는 행렬 분해에 대한 내용이었다. 학교에서 행렬 분해를 배울때 왜 배우는지도 모르고 공부했었는데 오늘 강의를 듣고 직접 코드를 돌려보니까 진작 이렇게 공부했으면 더 이해도  잘 되고 재미있었을것같다는 생각이 들었다.

어느새 U스테이지 수업이 모두 끝났다. 과연 P스테이지도 잘 할 수 있을지 걱정이다. 다음주에는 수업이 없으니까 푹 쉬면서 재충전의 시간을 가져야겠다.