Day16 학습정리 - NLP1

강의 복습

1. Intro to NLP, Bag-of-Words

1) Intro to Natural Language Processing(NLP)

• 자연어를 다루는 여러가지 분야
  • Natural language processing (major conferences: ACL, EMNLP, NAACL)
  • Text mining(major conferences: KDD, The WebConf (formerly, WWW), WSDM, CIKM, ICWSM)
  • Information retrieval (major conferences: SIGIR, WSDM, CIKM, RecSys)
• NLP의 트렌드: Vector (Word2Vec,  GloVe) → RNN (LSTM, GRU) → Transformer (attention)

2) Bag-of-Words

• Bag-of-Words 표현 방법
  • unique한 단어들을 모아 사전(vocabulary) 구축
  • 각 단어들을 one-hot vectors로 인코딩
  • 문장(sentence)이나 문서(document)는 one-hot vectors의 합으로 표현할 수 있음
• Bayes' Rule

(conditional independence 가정)

 

2. Word Embedding

1) Word2Vec

• Word Embedding: 단어를 벡터로 표현
• Word2Vec
  • 각 단어들을 one-hot vector로 표현
  • sliding window 기법 적용
  • word vector: 단어 사이의 관계 나타냄
  • CBOW, SkipGram

CBOW	SkipGram

• 사용 예시
  •  Analogy Reasoning: 단어들 간의 의미론적 관계 파악
  •  Intrusion Detection: 가장 상이한 단어 고르는 것

Korean Word2Vec

2) GloVe

• 동일한 단어 반복 방지 위해 co-occurrence matrix 계산
• 전체적인 정보 반영 가능

 

참고

임베딩 기법(Embedding)

 

---

코멘트

길었던 연휴가 끝나고 다시 바쁜 일정이 시작되었다. 연휴동안 PyTorch로 시작하는 딥러닝 입문을 보고 따라하면서 열심히 삽질을 했었는데 오늘 강의에 그 내용이 나와서 반가웠다.