보미의 Tech Blog

강의복습 Transformer 더보기 1) Scaled Dot-Product Attention input: Query, Key, Value (벡터) output: weighted sum of values multiple queries 2) Multi-head attention : W 행렬을 사용해 Q, K, V를 h개의 lower dimensional space에 mapping시킴 3) Block-Based Model 각 블록은 2개의 sub-layer로 구성 Multi-head attention, Two-layer feed-forward NN (with ReLU) 각 단계마다 Residual connection, layer normalization 존재 → 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(𝑥 + 𝑠𝑢𝑏𝑙𝑎𝑦𝑒𝑟(𝑥)..

강의 복습 1. Sequence to Sequence with Attention 더보기 Seq2Seq Model Sequence를 입력받아서 Sequence를 출력 (many to many) encoder와 decoder로 구성 Seq2Seq Model with Attention NMP 퍼포먼스 향상 Bottleneck 문제 해결 Vanishing gradient 문제 해결 Interpretability Different Attention Mechanisms Luong attention Bahdanau attention 2. Beam Search and BLEU 더보기 1) Beam search Greedy decoding: decision 취소할 수 없음, 토큰 생성할 때까지 디코딩 Exhaustiv..

강의 복습 1. Recurrent Neural Network and Language Modeling 더보기 1) Basics of Recurrent Neural Networks (RNNs) 2) Types of RNNs One-to-one: Standard Neural Networks One-to-many: Image Captioning Many-to-one: Sentiment Classification Many-to-many(Sequence-to-sequence): Machine Translation, Video classification on frame level 3) Character-level Language Model Backpropagation through time (BPTT) RNN의 문제..

강의 복습 1. Intro to NLP, Bag-of-Words 더보기 1) Intro to Natural Language Processing(NLP) 자연어를 다루는 여러가지 분야 Natural language processing (major conferences: ACL, EMNLP, NAACL) Text mining(major conferences: KDD, The WebConf (formerly, WWW), WSDM, CIKM, ICWSM) Information retrieval (major conferences: SIGIR, WSDM, CIKM, RecSys) NLP의 트렌드: Vector (Word2Vec, GloVe) → RNN (LSTM, GRU) → Transformer (attentio..

강의 복습 1. Generative Models 1 더보기 1) Introduction "What I cannot create, I do not understand." - 리처드 파인만 Generative model: 이미지들이 주어졌을 때 다음을 만족하는 확률분포 p(x)를 찾는 것 Generation: p(x)를 따르는 새로운 샘플을 뽑았을 때 원래 이미지과 비슷해야 함 (sampling) Density estimation: p(x)는 원래 이미지와 비슷하면 높고 아니면 낮아야 함 (anomaly detection) → explicit model Unsupervised representation learning: 주어진 이미지들의 공통점을 찾을 수 있어야 함 (feature learning) 그럼 p..

강의 복습 1. RNN 첫걸음 더보기 1) 시퀀스 데이터 시계열(time-series) 데이터와 같이 순서가 있는 데이터 (소리, 문자열, 주가 등) 순서를 바꾸거나 과거 정보에 손실이 발생하면 확률분포도 바뀜 앞으로 발생할 데이터의 확률분포 다루기 위해 조건부확률 이용(베이즈법칙) 길이가 가변적인 데이터를 다룰 수 있는 모델 필요 AR(𝜏) (Autoregressive) 자기회귀모델: 고정된 길이 𝜏만큼의 시퀀스만 사용 잠재AR모델: 바로 이전 정보를 제외한 나머지 정보들을 Ht라는 잠재변수로 인코딩 2) RNN 이해하기 가장 기본적인 RNN: MLP와 유사한 모양 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링 활성화함수: tanh 사용 역전파: 잠재변수의 연결그래프에 따라 순차적으로 계산 → ..

강의 복습 1. CNN 더보기 1) Convolution Continuous convolution Discrete convolution 2D image convolution 2) Convolutional Neural Networks convolutional layer: 각 필터당 하나의 feature map이 형성되고, 그 feature map을 스택처럼 쌓아둔 것 pooling layer: 차원 축소 Max pooling layer: window에 포함된 픽셀들의 최대값 Average pooling later: window에 포함된 픽셀들의 평균값 fully connected layer: decision making (e.g. classification) 3) Convolution Arithmetic ..

강의 복습 1. Optimization 더보기 1) Important Concepts in Optimization Generalization training error와 test error 사이의 차이 Under-fitting vs Over-fitting Cross validation k-fold validation: 데이터를 k개로 나눈 후 돌아가면서 k-1개는 training에 사용하고 나머지 1개는 validation으로 사용 기타: Leave-p-out, Leave-one-out, Stratified k-fold, Repeated Random Sampling, Nested, TimeSeries 등 참고 교차 검증(cross validation) 이번 시간에는 머신러닝에서 평가에 필수적으로 사용되는..

강의 복습 1. 베이즈 통계학 맛보기 더보기 1) 조건부확률 & 베이즈 정리 2) 조건부 확률의 시각화 𝜃 ¬𝜃 𝒟 True Positive P(𝒟|𝜃)P(𝜃) False Positive (1종 오류) P(𝒟|¬𝜃)P(¬𝜃) ¬𝒟 False Negative (2종 오류) P(¬𝒟|𝜃)P(𝜃) True Negative P(¬𝒟|¬𝜃)P(¬𝜃) 민감도(Recall): P(𝒟|𝜃) 오탐(False alarm): P(𝒟|¬𝜃) 특이도(Specificity): P(¬𝒟|¬𝜃) 정밀도(Precision): P(𝜃|𝒟) = TP/(TP+FP) 3) 베이즈 정리를 통한 정보의 갱신 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산 인과관계(causality)를 추론할 때 조..

강의 복습 1. 시각화 도구 더보기 1) matplotlib 파이썬의 대표적인 시각화 도구 pyplot 객체를 사용하여 데이터를 표시 Figure 안에 axis로 구성 subplot: grid로 순서 작성 color, linestyle, title, legend(범례), grid, xylim(x,y축 범위) 등 지정 가능 그래프 종류: scatter, bar, hist(히스토그램), boxplot 2) seaborn 기존 matplotlib에 기본 설정 추가 복잡한 그래프를 간단하게 만들 수 있는 wrapper 간단한 코드 + 예쁜 결과 basic plots: lineplot, scatterplot, countplot 등 predefined plots: violinplot, stripplot, swarm..