보미의 Tech Blog

강의 복습 Sequence Modeling Tabular Approach Feature Engineering Train/Test Split Model: LGBM Sequential Approach Input Transformation Model: LSTM, LSTM+Atttention, BERT FE and Model Make ground baseline with no fe Make a small FE and see if you can understand data you have Find good CV strategy Feature selection Make deeper FE Tune Model (crude tuning) Try other Models (never forget about NN) Try B..

강의 복습 1. DKT 이해 및 DKT Trend 소개 1) DKT Task 이해 DKT(Deep Knowledge Tracing): 딥러닝을 이용해서 하는 지식 상태 추적 원리: 문제 풀이 정보를 통해 지식 상태 예측 → 지식 상태를 기반으로 다음 문제를 맞출지 예측 데이터가 많아질수록 지식 상태 예측 더욱 정밀해짐 데이터가 적을수록 오버피팅 현상이 쉽게 일어남 DKT 대회에서는 지식상태보다는 주어진 문제를 맞췄는지 틀렸는지에 집중 2) Metric 이해 Confusion Matrix AUC (Area Under the ROC Curve): 넓을수록 모형 성능 높아짐 범위: 0~1 이상적인 이유: 척도 불편, 분류 임계값 불변 3) DKT History 및 Trend Sequence Data를 다루기 ..

우리 팀 최종 점수와 순위는 다음과 같다. Public: LB점수 0.5167, 106등 / Private: LB 점수 0.3808, 106등 public이랑 private이랑 순위는 동일했지만 점수는 많이 떨어졌다. 모델이 overfitting된 것 같다.

프로젝트 Swin-T를 적용해봤는데 점수가 0.1대로 매우 낮게 나왔다. 그런데 토론게시판에 swin 적용하는 방법 설명하는 글 중에 pretrained weight을 불러오는 부분이 있어서 시도해봤더니 성능이 매우 잘 나왔다. 20epoch까지만 학습시키고 중단했는데 제출해보니까 0.5010으로 역대 최고 점수가 나왔다. 시간이 더 있었으면 이것저것 시도해보고 싶었는데 시간이 촉박해서 거의 모델만 바꿔서 실험해본 것이 아쉽다.

프로젝트 SOTA 모델 중 가장 성능이 좋은 Swin을 적용해보고 싶었지만 방법을 몰라서 못 하고 있었는데 마침 오늘 오피스아워에서 멘토님이 알려주셔서 시도해볼 예정이다. 제발 성능이 많이 올랐으면 좋겠다.

프로젝트 오늘은 DetectoRS에 resnet101이랑 resnext101을 적용해봤다. resnet101을 했을 때 점수가 0.02정도로 많이 올랐다. resnext는 설정을 잘못 했는지 에러가 났다. 원인을 찾아 해결해봐야겠다. 다른 외부 모델들도 사용해보고 싶은데 mmdetection에 적용하기가 어렵다. 다른 조들은 swin같은 SOTA 모델들도 사용한 것 같던데 어떻게 했는지 궁금하다.

강의 복습 1. Method How to get good score? EDA 통해 아이디어 얻음 파이프라인 구축 (mmdetection과 같은 라이브러리 사용) 좋은 모델, anchor size, image size 찾음 pseudo labelling Develop Model Architecture 기본 시작: ResNet50 + Faster R-CNN + FPN Backbone: ResNet, DarkNet, EfficientNet, ResNeXt, RegNet 등 Neck: FPN, PAFPN, RFP, BiFPN 등 Dense Prediction: Yolo, SSD, EfficientDet, RetinaNet 등 Sparse Prediction: FasterRCNN 등 ETC Deformable C..

강의 복습 1. EfficientNet Motivation: Is there a principled method to scale up ConvNets that can achieve better accuracy and efficiency? Scale up Better Accracy & Efficiency Compound Scaling Method initialize ∅ to 1 Find 𝛼,𝛽,𝛾 - AutoML optimization for ACC & Flops Scale up ∅ 2. EfficientDet Efficient multi-scale feature fusion In Neck, Simple Summation Model Scaling - Previous work focus on large ba..

프로젝트 random seed를 완벽하게 고정해보려고 노력해봤지만 실패했다. 그래서 오늘 오피스아워때 멘토님께 여쭤봤는데 pytorch 고질적인 문제라서 어쩔 수 없다고 하셨다. 앞으로 실험을 어떻게 진행해야 할지는 팀원들과 더 논의해봐야 할 것 같다. baseline 코드를 변경해서 yolo와 retinanet을 시도해봤는데 yolo를 돌려보니까 loss가 너무 크게 나온다. 내가 뭘 잘못한건지 원래 학습이 느리게 되는건지 모르겠다.

강의 복습 1. Research Trend with MMDetection Library Detectron2 MMDetection Backbone Neck 2. Neck FPN (Feature Pyramid Networks) Feature Fusion Method Nearest Neighbor Upsampling PANet (Path Aggregation Network) Bottom-up Path Augmentation RFP (Recursive Feature Pyramid) ASPP (Atrous Spatial Pyramid Pooling) BiFPN (Bi-directional Feature Pyramid) 3. Focal Loss Problems Class Imbalance Anchor Box 대부분..