보미의 Tech Blog

강의 복습 1. Intro to NLP, Bag-of-Words 더보기 1) Intro to Natural Language Processing(NLP) 자연어를 다루는 여러가지 분야 Natural language processing (major conferences: ACL, EMNLP, NAACL) Text mining(major conferences: KDD, The WebConf (formerly, WWW), WSDM, CIKM, ICWSM) Information retrieval (major conferences: SIGIR, WSDM, CIKM, RecSys) NLP의 트렌드: Vector (Word2Vec, GloVe) → RNN (LSTM, GRU) → Transformer (attentio..

강의 복습 1. Generative Models 1 더보기 1) Introduction "What I cannot create, I do not understand." - 리처드 파인만 Generative model: 이미지들이 주어졌을 때 다음을 만족하는 확률분포 p(x)를 찾는 것 Generation: p(x)를 따르는 새로운 샘플을 뽑았을 때 원래 이미지과 비슷해야 함 (sampling) Density estimation: p(x)는 원래 이미지와 비슷하면 높고 아니면 낮아야 함 (anomaly detection) → explicit model Unsupervised representation learning: 주어진 이미지들의 공통점을 찾을 수 있어야 함 (feature learning) 그럼 p..

강의 복습 1. RNN 첫걸음 더보기 1) 시퀀스 데이터 시계열(time-series) 데이터와 같이 순서가 있는 데이터 (소리, 문자열, 주가 등) 순서를 바꾸거나 과거 정보에 손실이 발생하면 확률분포도 바뀜 앞으로 발생할 데이터의 확률분포 다루기 위해 조건부확률 이용(베이즈법칙) 길이가 가변적인 데이터를 다룰 수 있는 모델 필요 AR(𝜏) (Autoregressive) 자기회귀모델: 고정된 길이 𝜏만큼의 시퀀스만 사용 잠재AR모델: 바로 이전 정보를 제외한 나머지 정보들을 Ht라는 잠재변수로 인코딩 2) RNN 이해하기 가장 기본적인 RNN: MLP와 유사한 모양 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링 활성화함수: tanh 사용 역전파: 잠재변수의 연결그래프에 따라 순차적으로 계산 → ..

강의 복습 1. CNN 더보기 1) Convolution Continuous convolution Discrete convolution 2D image convolution 2) Convolutional Neural Networks convolutional layer: 각 필터당 하나의 feature map이 형성되고, 그 feature map을 스택처럼 쌓아둔 것 pooling layer: 차원 축소 Max pooling layer: window에 포함된 픽셀들의 최대값 Average pooling later: window에 포함된 픽셀들의 평균값 fully connected layer: decision making (e.g. classification) 3) Convolution Arithmetic ..

강의 복습 1. Optimization 더보기 1) Important Concepts in Optimization Generalization training error와 test error 사이의 차이 Under-fitting vs Over-fitting Cross validation k-fold validation: 데이터를 k개로 나눈 후 돌아가면서 k-1개는 training에 사용하고 나머지 1개는 validation으로 사용 기타: Leave-p-out, Leave-one-out, Stratified k-fold, Repeated Random Sampling, Nested, TimeSeries 등 참고 교차 검증(cross validation) 이번 시간에는 머신러닝에서 평가에 필수적으로 사용되는..

강의 복습 1. 베이즈 통계학 맛보기 더보기 1) 조건부확률 & 베이즈 정리 2) 조건부 확률의 시각화 𝜃 ¬𝜃 𝒟 True Positive P(𝒟|𝜃)P(𝜃) False Positive (1종 오류) P(𝒟|¬𝜃)P(¬𝜃) ¬𝒟 False Negative (2종 오류) P(¬𝒟|𝜃)P(𝜃) True Negative P(¬𝒟|¬𝜃)P(¬𝜃) 민감도(Recall): P(𝒟|𝜃) 오탐(False alarm): P(𝒟|¬𝜃) 특이도(Specificity): P(¬𝒟|¬𝜃) 정밀도(Precision): P(𝜃|𝒟) = TP/(TP+FP) 3) 베이즈 정리를 통한 정보의 갱신 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산 인과관계(causality)를 추론할 때 조..

강의 복습 1. 시각화 도구 더보기 1) matplotlib 파이썬의 대표적인 시각화 도구 pyplot 객체를 사용하여 데이터를 표시 Figure 안에 axis로 구성 subplot: grid로 순서 작성 color, linestyle, title, legend(범례), grid, xylim(x,y축 범위) 등 지정 가능 그래프 종류: scatter, bar, hist(히스토그램), boxplot 2) seaborn 기존 matplotlib에 기본 설정 추가 복잡한 그래프를 간단하게 만들 수 있는 wrapper 간단한 코드 + 예쁜 결과 basic plots: lineplot, scatterplot, countplot 등 predefined plots: violinplot, stripplot, swarm..

강의 복습 1. pandas II 더보기 1) Groupby SQL groupby 명령어와 같음 split → apply → combine 과정 거쳐서 연산 groupby 명령의 결과물도 dataframe df.groupby(기준컬럼)[적용컬럼] 한 개 이상의 column: df.groupby([column1, column2, ...])[적용컬럼] hierarchical index 두 개의 column으로 groupby를 할 경우 index 두 개 생성 unstack(): group으로 묶여진 데이터를 matrix 형태로 전환 swaplevel(): index level 변경 operations: index level 기준으로 기본 연산 수행 가능(sum 등) groupby에 의해 split된 상태를 t..

강의 복습 1. pandas I 더보기 1) pandas 구조화된 데이터의 처리를 지원하는 파이썬 라이브러리 panel data numpy와 통합하여 강력한 스프레드시트 처리 기능 제공 인덱싱, 연산용 함수, 전처리 함수 등 제공 데이터 처리 및 통계 분석 위해 사용 2) series & dataframe series: column vector를 표현하는 object dataframe: data table 전체를 포함하는 object dataframe 생성: {column_name : data} dataframe indexing loc: index location(인덱스 이름) iloc: index position(인덱스 위치) dataframe handling transpose: df.T 값 출력: d..

강의 복습 1. 경사하강법 (순한맛) 더보기 1) 미분 (differentiation) 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구 주어진 점에서의 접선의 기울기 경사상승법(gradient ascent): 미분값을 더하여 함수의 극대값의 위치를 구할 때 사용 경사하강법(gradient descent): 미분값을 빼서 함수의 극소값의 위치를 구할 때 사용 경사상승/경사하강 방법은 극값에 도달하면 움직임을 멈춤 2) 경사하강법 알고리즘 input gradient: 미분을 계산하는 함수 init: 시작점 lr: 학습률 (업데이트 속도 조절) eps: 알고리즘 종료조건 컴퓨터로 계산할 때 미분이 정확히 0이 되는 것은 불가능하므로 eps보다 작을 때 종료하는 조건이 필요 3) 편미분 (partial..