Day5 학습정리 - BERT 기반 단일 문장 분류 모델 학습

프로젝트 회고

1. 오늘의 목표

• run.py 파일 만들어서 한번에 실행시키기
• 다른 모델 적용해보기
• random seed 고정하기

2. 목표를 달성하기 위해 한 행동

koelectra-small이랑 koelectra-base-v3 모델을 사용해봤는데 오히려 BERT보다 정확도가 낮게 나왔다.

random seed를 고정하기 위해 seed.py 파일을 만들고 그 안에 여러 random seed들을 한번에 설정해주는 seed_everything() 함수를 넣었다. 그리고 run.py에서 seed를 import해준 다음 학습 시작하기 전에 seed_everything()을 호출했다. 기본값은 42로 설정했다.

 

3. 회고

electra 모델이 BERT보다 성능이 안 좋아서 이상하다 했는데 알고보니까 베이스라인 코드가 pretrained 모델을 안 불러와서 그런 것이었다.

주말동안 config.json 파일이랑 tensorboard 코드도 추가해보고 데이터 augmentation도 해봐야겠다.