프로젝트 회고
1. 오늘의 목표
- run.py 파일 만들어서 한번에 실행시키기
- 다른 모델 적용해보기
- random seed 고정하기
2. 목표를 달성하기 위해 한 행동
koelectra-small이랑 koelectra-base-v3 모델을 사용해봤는데 오히려 BERT보다 정확도가 낮게 나왔다.
random seed를 고정하기 위해 seed.py 파일을 만들고 그 안에 여러 random seed들을 한번에 설정해주는 seed_everything() 함수를 넣었다. 그리고 run.py에서 seed를 import해준 다음 학습 시작하기 전에 seed_everything()을 호출했다. 기본값은 42로 설정했다.
3. 회고
electra 모델이 BERT보다 성능이 안 좋아서 이상하다 했는데 알고보니까 베이스라인 코드가 pretrained 모델을 안 불러와서 그런 것이었다.
주말동안 config.json 파일이랑 tensorboard 코드도 추가해보고 데이터 augmentation도 해봐야겠다.
'부스트캠프 AI Tech 1기 [T1209 최보미] > P stage-2 (KLUE)' 카테고리의 다른 글
Day7 학습정리 - BERT 기반 문장 토큰 분류 모델 학습 (0) | 2021.04.20 |
---|---|
Day6 학습정리 - BERT 기반 두 문장 관계 분류 모델 학습 (0) | 2021.04.19 |
Day4 학습정리 - 한국어 BERT 언어 모델 학습 (0) | 2021.04.15 |
Day3 학습정리 - BERT 언어 모델 소개 (0) | 2021.04.14 |
Day2 학습정리 - 자연어의 전처리 (0) | 2021.04.13 |