Day9 학습정리

1. 오늘의 목표

• 지식증류법
• 학습데이터 나이 보정
• 앙상블 후 최종제출

 

2. 목표를 달성하기 위해 한 행동

오늘은 가장 먼저 지식증류법을 시도해봤다. teacher model은 efficientnet-b0을 사용했고 student model은 resnet50을 사용했다.

그리고 리더보드 상위권에 계신 Ustage 팀원분이 학습데이터의 나이를 보정하는 방법을 사용했다고 하셔서 나도 시도해봤다. 기존에 학습된 모델을 사용해 30세~60세로 라벨링된 train 이미지의 나이를 예측해서 60세 이상으로 나오면 이미지의 라벨을 바꿔주는 방식으로 했다. 일종의 noise labelling 제거라고 할 수 있을 것 같다. 이미지 사이즈는 300*224로 할 때 효과가 좋았다.

마지막으로 성능이 좋았던 5개의 모델을 앙상블해서 최종 제출을 했다. 앙상블 방법은 각 결과들에 가중치를 줘서 더하는 softvoting 방법을 사용하였다.

 

3. 회고

거의 1주일동안 계속 최고점수가 갱신이 안 됐었는데 오늘 막판에 달리니까 계속 갱신이 되었다. 앙상블을 하니까 확실히 점수가 많이 올라가서 기분이 좋았다. 그리고 U스테이지 팀원분이 말씀해주신 나이 보정 방법도 도움이 많이 되었던 것 같다. 그런데 성능이 향상된 것이 나이 보정때문인지 이미지 사이즈를 바꿔서인지는 모르겠다.