Day2 학습정리

강의 복습

1. FCN의 한계점

• 객체의 크기가 크거나 작은 경우 예측을 잘 하지 못하는 문제
• Object의 디테일한 모습이 사라지는 문제

2. Decoder를 개선한 models

• DeconvNet
  • Encoder/Decoder Network가 대칭으로 이루어진 구조
  • Encoder Network: VGG16 사용
    Decoder Network: Unpooling / Deconvolution(Transposed Convolution) / ReLU

• SegNet
  • FC Layer를 모두 제거해서 파라미터의 수를 감소
  • Decoder 파트에서 Transposed convolution이 아닌 Convolution 사용

3. Skip Connection을 적용한 models

• Skip Connections: Neural network에서 이전 layer 의 output 을 일부 layer 를 건너 뛴 후의 layer에게 입력으로 제공하는 것

• FC DenseNet

• Unet

4. Receptive Field를 확장시킨 models

• Conv → Max pooling → Conv 반복하면 효율적으로 receptive field를 넓힐 수 있지만 Resolution 측면에서는 low feature resolution 을 가지는 문제점 발생
• 앞의 문제점을 핵결하기 위해 이미지의 크기를 적게 줄이면서도 효율적인 receptive field를 넓히는 방법 고안
• Dilated Convolution & downsampling
  • Receptive field
  • parameter
  • high resolution

• DeepLab v1: Bilinear Interpolation

• DilatedNet

Front-End Module

Front + Basic Context Module

• DeepLab v2: Multi-Scale Image

• PSPNet: Feature Map에 Global Average Pooling을 적용해 sub region을 생성
  • Mismatched Relationship → 주변의 특징을 고려하여 해결
  • Confusion Categories → catecory간의 관계를 사용하여 해결
  • Inconspicuous Classes → 작은 객체들도 global contextual information 사용

 

 

• DeepLab v3

---

프로젝트 회고

• 기본으로 주어진 FCN8s 베이스라인 코드를 돌린 후 제출했더니 mIoU 스코어가 0.3141이 나왔다.
• 강의자료를 참고해서 DeconvNet 모델을 직접 구현해서 돌려봤다. Validation score가 0.2 초반이 나오길래 pretrained model을 사용하지 않아서 기본 베이스라인보다 더 성능이 안 좋은 줄 알았는데 제출해보니까 0.3217로 베이스라인보다 더 높게 나왔다.