Day4 학습정리 - 한국어 BERT 언어 모델 학습

강의 복습

• BERT 학습의 단계
  1. Tokenizer 만들기
  2. 데이터셋 확보
  3. Next sentence prediction(NSP)
  4. Masking
• 이미 있는 걸 쓰지 않고 새로 학습하는 이유: 도메인 특화 task의 경우, 도메인 특화된 학습데이터만 사용하는 것이 성능이 더 좋기 때문
• 학습을 위한 데이터 만들기

---

프로젝트 회고

오늘은 주어진 베이스라인 코드를 그대로 돌려서 첫 제출을 해봤더니 58.3%가 나왔다. VSCode로 연동해서 코드를 좀 손본 다음에 제출하고 싶었는데 왜인지는 모르겠지만 ssh 연결이 잘 안 되어서 어쩔 수 없이 그냥 주피터에서 돌렸다.

VSCode 연동에 성공하면 우선 train이랑 inference를 한 번에 실행하는 run.py를 만들고 config.json 파일도 따로 만들 생각이다.

+추가: VSCode 연동이 안 됐던 이유가 key파일 경로를 잘못 입력해서였다. 경로를 다시 설정해줬더니 연결에 성공했다.