보미의 Tech Blog

프로젝트 오늘은 DetectoRS에 resnet101이랑 resnext101을 적용해봤다. resnet101을 했을 때 점수가 0.02정도로 많이 올랐다. resnext는 설정을 잘못 했는지 에러가 났다. 원인을 찾아 해결해봐야겠다. 다른 외부 모델들도 사용해보고 싶은데 mmdetection에 적용하기가 어렵다. 다른 조들은 swin같은 SOTA 모델들도 사용한 것 같던데 어떻게 했는지 궁금하다.

강의 복습 1. Method How to get good score? EDA 통해 아이디어 얻음 파이프라인 구축 (mmdetection과 같은 라이브러리 사용) 좋은 모델, anchor size, image size 찾음 pseudo labelling Develop Model Architecture 기본 시작: ResNet50 + Faster R-CNN + FPN Backbone: ResNet, DarkNet, EfficientNet, ResNeXt, RegNet 등 Neck: FPN, PAFPN, RFP, BiFPN 등 Dense Prediction: Yolo, SSD, EfficientDet, RetinaNet 등 Sparse Prediction: FasterRCNN 등 ETC Deformable C..

강의 복습 1. EfficientNet Motivation: Is there a principled method to scale up ConvNets that can achieve better accuracy and efficiency? Scale up Better Accracy & Efficiency Compound Scaling Method initialize ∅ to 1 Find 𝛼,𝛽,𝛾 - AutoML optimization for ACC & Flops Scale up ∅ 2. EfficientDet Efficient multi-scale feature fusion In Neck, Simple Summation Model Scaling - Previous work focus on large ba..

프로젝트 random seed를 완벽하게 고정해보려고 노력해봤지만 실패했다. 그래서 오늘 오피스아워때 멘토님께 여쭤봤는데 pytorch 고질적인 문제라서 어쩔 수 없다고 하셨다. 앞으로 실험을 어떻게 진행해야 할지는 팀원들과 더 논의해봐야 할 것 같다. baseline 코드를 변경해서 yolo와 retinanet을 시도해봤는데 yolo를 돌려보니까 loss가 너무 크게 나온다. 내가 뭘 잘못한건지 원래 학습이 느리게 되는건지 모르겠다.

강의 복습 1. Research Trend with MMDetection Library Detectron2 MMDetection Backbone Neck 2. Neck FPN (Feature Pyramid Networks) Feature Fusion Method Nearest Neighbor Upsampling PANet (Path Aggregation Network) Bottom-up Path Augmentation RFP (Recursive Feature Pyramid) ASPP (Atrous Spatial Pyramid Pooling) BiFPN (Bi-directional Feature Pyramid) 3. Focal Loss Problems Class Imbalance Anchor Box 대부분..

강의 복습 1. Object Detection Overview Previous Method Sliding Window Selective Search Object Detection in Deep Learning 2 stages 1 stages 2. 2 Stage Models RCNN Pipeline Selective Search를 통해 약 2000개의 RoI(Region of Interest)를 추출 RoI의 크기를 조절해 모두 동일한 사이즈 로 변형 RoI 를 CNN에 넣어, feature 를 추출 1) CNN을 통해 나온 feature를 SVM에 넣어, 분류 진행 2) CNN을 통해 나온 feature를 regression을 통해 bounding box 를 예측 Shortcomings 2000개의 Ro..

Image Segmentation 대회가 마무리되었다. 최종 점수는 다음과 같다. Public: LB점수 0.6625, 72등 / Private: LB 점수 0.6388, 76등 오늘 멘토링시간에 이번 프로젝트를 하면서 아쉬웠던 점을 이야기해봤는데 나를 비롯한 팀원들 모두 실험 내용 공유가 잘 안 된 것이랑 깃허브를 제대로 활용하지 못한 것을 가장 아쉬워했다. 다음 Object Detection 프로젝트 할 때에는 깃허브를 제대로 활용하기로 했다.

프로젝트 회고 DeepLabV3 + resnext50_32x4d에 HorizontalFlip을 적용했을 때 점수가 0.5743으로 가장 좋았고 Rotate를 추가하니까 오히려 떨어졌다. 토론게시판에 올라온 loss 코드를 가져와서 Focal + Dice + SSIM loss를 사용해봤는데 점수가 약간 떨어졌다. 마지막으로 팀원들의 모델을 앙상블하여 최종 제출을 했다. 나의 최고 점수보다 거의 0.1이나 올랐다.

프로젝트 회고 Decoder: deeplabv3+, Encoder: resnext101_32x16d / 8d / 4d 조합을 사용해봤는데 셋 다 성능이 매우 안 좋았다. 분명히 피어세션에서는 다들 이 조합을 쓰니까 점수가 잘 나왔다고 했는데 왜 나는 안 좋게 나오는지 모르겠다. Decoder: deeplabv3, Encoder: resnext101_32x4d을 사용했을땐 점수가 안 좋았는데 Encoder를 resnext50_32x4d로 바꿔보니까 괜찮게 나오는 것 같다. 내일은 여러가지 augmentation도 적용해보고 optimizer랑 loss function도 바꿔보는 등 다양한 시도를 해봐야겠다.

프로젝트 회고 DeepLabV3+efficientnet-b3에 randomcrop을 적용하니까 성능은 2프로정도 떨어졌지만 학습시간이 줄어들었다. vertical flip을 적용해봤는데 성능이 많이 떨어졌다. DeepLabV3+resnet101을 epoch 40까지 돌려봤는데 overfitting때문인지 오히려 epoch 20까지 돌렸을때보다 성능이 떨어졌다. 오늘 피어세션에서 DeepLabV3Plus+resnext 조합을 사용했을때 결과가 좋았다는 이야기를 들어서 나도 시도해봤는데 성능이 많이 떨어졌다.