Greedy decoding: decision 취소할 수 없음, <END> 토큰 생성할 때까지 디코딩
Exhaustive search: 모든 가능한 sequence에 대해 계산
Beam search: decoder 각 단계에서 가장 가능성이 높은 k개의 partial translations(hypothesis) 추적
k: beam size
한 개의 hypothesis가 끝나도 계속 다른 hypothesis 탐색
timestep이 T가 되거나 hypothesis가 n개 이상 완료되면 종료
길이가 길수록 점수가 낮음 → Normalization
2) BLEU score
precision = #correct words / length of prediction recall = #correct words / length of reference F-measure = precision x recall / 0.5(precision + recall)
BiLingual Evaluation Understudy (BLEU): N-gram
피어세션 & 마스터클래스
오늘은 피어세션에 마스터클래스에 과제해설까지 있어서 바빴다. 피어세션때는 과제와 실습 코드에 대해 이야기를 나눴는데 내가 놓쳤던 세세한 부분들, 그리고 고민했었던 부분들을 팀원들이 짚어줘서 좋았다. 확실히 피어세션이 도움이 많이 되는 것 같다.
마스터클래스에서는 내가 궁금해했었던 질문들이 많이 나와서 궁금증이 많이 해결이 되었다. 교수님께서 NLP가 수요가 많고 전망이 좋은 분야라고 하셨는데 제대로 공부해놓아야겠다.
코멘트
갈수록 내용은 어려워지는데 이해를 제대로 못 한 채 수업 진도 따라가기 급급해지는 것 같다. 복습할 시간이 너무 부족하다.ㅠㅠ 연휴 한 번 더 있었으면... 조만간 특강 주가 있는데 그 때 복습해야겠다.
