Day7 학습정리 - BERT 기반 문장 토큰 분류 모델 학습

프로젝트 회고

xlm-roberta-large 모델이 성능이 좋다는 이야기를 많이 들어서 시도해봤다. 모델이 무거워서 그런지 저장용량이 부족해서 중간에 자꾸 멈추는 바람에 폴더를 지워가면서 몇 번이나 처음부터 다시 했다. 우여곡절 끝에 간신히 성공했는데 성능이 72%에서 무려 76.4%로 올랐다. 다음에는 special token도 한 번 적용해볼 생각이다.