Day1 학습정리 - 인공지능과 자연어 처리

강의 복습

1. 인공지능의 탄생과 자연어처리

• ELIZA: 최초의 대화형 챗봇, 심리 상담사 역할을 하도록 설계
  (www.eclecticenergies.com/psyche/eliza)
• 다양한 자연어처리 응용분야: 의미 분석기, 구문 분석기, 감성 분석기, 형태소 분석기, 개체명 분석기 등
• 자연어 단어 임베딩
  • 특징 추출과 분류: 데이터를 수학적으로 표현, 분류 대상의 특장을 파악(Feature extraction), 그래프 위에 표현 가능
  • Word2Vec: 단어의 의미를 벡터 공간에 임베딩, 주변 단어를 예측하는 방식으로 학습 (Skip-gram)
  • Fasttext: 단어를 n-gram으로 분리한 후, 모든 벡터를 합산한 후 평균을 통해 단어 벡터 획득

2. 딥러닝 기반의 자연어처리와 언어모델

• Markov 기반 언어모델: 마코프 체인 모델 (Markov Chain Model), n-gram 기반으로 계산
  RNN 기반의 언어모델: 시계열 데이터 처리에 특화
• Seq2seq
  • Encoder layer: RNN 구조를 통해 Context ector 획득
  • Decoder layer: 획득된 Context vector를 입력으로 출력을 예측
• Attention
  • 중요한 feature를 더욱 중요하게 고려하기 위해 도입
• Self-attention: Transformer 도입
  • 다양한 언어모델: BERT, GPT, GPT-2, GPT-3 등

---

프로젝트 회고

오늘은 첫 날이라서 그냥 프로젝트 개요를 보면서 주어진 문제를 이해하는 시간을 가졌다. 내일은 베이스라인 코드를 돌려보고 제출도 해봐야겠다.