보미의 Tech Blog

강의 복습 1. Recurrent Neural Network and Language Modeling 더보기 1) Basics of Recurrent Neural Networks (RNNs) 2) Types of RNNs One-to-one: Standard Neural Networks One-to-many: Image Captioning Many-to-one: Sentiment Classification Many-to-many(Sequence-to-sequence): Machine Translation, Video classification on frame level 3) Character-level Language Model Backpropagation through time (BPTT) RNN의 문제..

강의 복습 1. RNN 첫걸음 더보기 1) 시퀀스 데이터 시계열(time-series) 데이터와 같이 순서가 있는 데이터 (소리, 문자열, 주가 등) 순서를 바꾸거나 과거 정보에 손실이 발생하면 확률분포도 바뀜 앞으로 발생할 데이터의 확률분포 다루기 위해 조건부확률 이용(베이즈법칙) 길이가 가변적인 데이터를 다룰 수 있는 모델 필요 AR(𝜏) (Autoregressive) 자기회귀모델: 고정된 길이 𝜏만큼의 시퀀스만 사용 잠재AR모델: 바로 이전 정보를 제외한 나머지 정보들을 Ht라는 잠재변수로 인코딩 2) RNN 이해하기 가장 기본적인 RNN: MLP와 유사한 모양 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링 활성화함수: tanh 사용 역전파: 잠재변수의 연결그래프에 따라 순차적으로 계산 → ..