부스트캠프 AI Tech 1기 [T1209 최보미]/U stage
Day18 학습정리 - NLP3
B1001101
2021. 2. 17. 23:57
강의 복습
1. Sequence to Sequence with Attention
더보기
- Seq2Seq Model
- Sequence를 입력받아서 Sequence를 출력 (many to many)
- encoder와 decoder로 구성
- Seq2Seq Model with Attention
- NMP 퍼포먼스 향상
- Bottleneck 문제 해결
- Vanishing gradient 문제 해결
- Interpretability
- Different Attention Mechanisms
- Luong attention
- Bahdanau attention
2. Beam Search and BLEU
더보기
1) Beam search
- Greedy decoding: decision 취소할 수 없음, <END> 토큰 생성할 때까지 디코딩
- Exhaustive search: 모든 가능한 sequence에 대해 계산
- Beam search: decoder 각 단계에서 가장 가능성이 높은 k개의 partial translations(hypothesis) 추적
- k: beam size
- 한 개의 hypothesis가 끝나도 계속 다른 hypothesis 탐색
- timestep이 T가 되거나 hypothesis가 n개 이상 완료되면 종료
2) BLEU score
- precision = #correct words / length of prediction
recall = #correct words / length of reference
F-measure = precision x recall / 0.5(precision + recall) - BiLingual Evaluation Understudy (BLEU): N-gram
피어세션 & 마스터클래스
오늘은 피어세션에 마스터클래스에 과제해설까지 있어서 바빴다. 피어세션때는 과제와 실습 코드에 대해 이야기를 나눴는데 내가 놓쳤던 세세한 부분들, 그리고 고민했었던 부분들을 팀원들이 짚어줘서 좋았다. 확실히 피어세션이 도움이 많이 되는 것 같다.
마스터클래스에서는 내가 궁금해했었던 질문들이 많이 나와서 궁금증이 많이 해결이 되었다. 교수님께서 NLP가 수요가 많고 전망이 좋은 분야라고 하셨는데 제대로 공부해놓아야겠다.
코멘트
갈수록 내용은 어려워지는데 이해를 제대로 못 한 채 수업 진도 따라가기 급급해지는 것 같다. 복습할 시간이 너무 부족하다.ㅠㅠ 연휴 한 번 더 있었으면... 조만간 특강 주가 있는데 그 때 복습해야겠다.