보미의 Tech Blog

강의복습 1. 그래프의 정점을 어떻게 벡터로 표현할까? 더보기 1) 정점 표현 학습 그래프의 정점들을 벡터로 표현하는 것 정점 임베딩(Node Embedding)이라고도 함 임베딩 공간: 정점이 표현되는 벡터 공간 정점 표현 학습의 목표: 그래프에서의 정점간 유사도를 임베딩 공간에서도 보존하는 것 임베딩 공간에서의 유사도: 내적 사용 그래프에서 정점 사이의 유사성을 계산하는 방법에 따라 여러 접근법이 구분됨 2) 인접성(Adjacency) 기반 접근법 두 정점이 인접할 때(둘을 직접 연결하는 간선이 있을 때) 유사하다고 간주 인접 행렬: 두 정점 u, v가 인접한 경우 해당 원소 1, 아니면 0 손실 함수 3) 거리/경로/중첩 기반 접근법 거리 기반 접근법: 두 정점 사이의 거리가 충분히 가까운 경우 유..

강의복습 1. 그래프의 구조를 어떻게 분석할까? 더보기 1) 군집 구조와 군집 탐색 문제 군집(Community): 다음 조건들을 만족하는 정점들의 집합 집합에 속하는 정점 사이에는 많은 간선이 존재 집합에 속하는 정점과 그렇지 않은 정점 사이에는 적은 수의 간선이 존재 실제 그래프의 군집들은 무엇을 의미할까? 온라인 소셜 네트워크의 군집: 사회적 무리(Social Circle), 부정 행위, 조직 내의 분란 키워드-광고주 그래프의 군집: 동일한 주제의 키워드 뉴런간 연결 그래프의 군집: 뇌의 기능적 구성 단위 군집 탐색(Community Detection) 문제: 그래프를 여러 군집으로 잘 나누는 문제 2) 군집 구조의 통계적 유의성과 군집성 배치 모형(Configuration Model): 각 정점의..

강의복습 1. 검색 엔진에서는 그래프를 어떻게 활용할까? 더보기 1) 페이지랭크의 배경 웹: 웹페이지와 하이퍼링크로 구성된 거대한 방향성 있는 그래프 구글 이전의 검색 엔진의 한계 디렉토리: 웹페이지 수가 증가하면 카테고리의 수와 깊이도 무한정 커짐, 카테고리 구분 모호 키워드: 악의적인 웹페이지에 취약 구글의 창업자인 래리 페이지(Larry Page)와 세르게이 브린(Sergey Brin)이 페이지랭크 개념 제안 2) 페이지랭크의 정의 투표 관점: 하이퍼링크를 통한 가중 투표(주체: 웹페이지) 악용 막기 위해 가중 투표 함 씨가 (자신의 페이지랭크 점수 / 나가는 이웃의 수) 재귀(Recursion): 연립방정식 풀이 페이지랭크 점수: 측정하려는 웹페이지의 관련성 및 신뢰도 임의 보행 관점: 웹서퍼가 ..

강의복습 1. 그래프란 무엇이고 왜 중요할까? 더보기 1) 그래프란 무엇이고 왜 중요할까? 그래프(Graph): 정점(Vertex) 집합과 간선(Edge) 집합으로 이루어진 수학적 구조 하나의 간선은 두 개의 정점을 연결 그래프는 네트워크(Network)로도 불림 정점: Node, 간선: Link 복잡계를 표현하고 분석하기 위한 언어 2) 그래프 관련 인공지능 문제 정점 분류, 연결 예측, 추천, 군집 분석, 랭킹, 정보 검색, 정보 전파, 바이럴 마케팅 등 3) 그래프 관련 필수 기초 개념 방향성이 없는 그래프(Undirected Graph) / 방향성이 있는 그래프(Directed Graph) 가중치가 없는 그래프(Unweighted Graph) / 가중치가 있는 그래프(Weighted Graph) ..

강의복습 1. Self-supervised Pre-training Models 더보기 1) GPT-1 효과적인 transfer learning 위해 // $ 와 같은 special token 사용 2) BERT masked language modeling task large-scale data & large-scale model Pre-training Tasks Masked Language Model (MLM) Mask some percentage of the input tokens at random, and then predict those masked tokens. 15% of the words to predict 80% of the time, replace with [MASK] 10% of the ..

강의복습 Transformer 더보기 1) Scaled Dot-Product Attention input: Query, Key, Value (벡터) output: weighted sum of values multiple queries 2) Multi-head attention : W 행렬을 사용해 Q, K, V를 h개의 lower dimensional space에 mapping시킴 3) Block-Based Model 각 블록은 2개의 sub-layer로 구성 Multi-head attention, Two-layer feed-forward NN (with ReLU) 각 단계마다 Residual connection, layer normalization 존재 → 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(𝑥 + 𝑠𝑢𝑏𝑙𝑎𝑦𝑒𝑟(𝑥)..

강의 복습 1. Sequence to Sequence with Attention 더보기 Seq2Seq Model Sequence를 입력받아서 Sequence를 출력 (many to many) encoder와 decoder로 구성 Seq2Seq Model with Attention NMP 퍼포먼스 향상 Bottleneck 문제 해결 Vanishing gradient 문제 해결 Interpretability Different Attention Mechanisms Luong attention Bahdanau attention 2. Beam Search and BLEU 더보기 1) Beam search Greedy decoding: decision 취소할 수 없음, 토큰 생성할 때까지 디코딩 Exhaustiv..

강의 복습 1. Recurrent Neural Network and Language Modeling 더보기 1) Basics of Recurrent Neural Networks (RNNs) 2) Types of RNNs One-to-one: Standard Neural Networks One-to-many: Image Captioning Many-to-one: Sentiment Classification Many-to-many(Sequence-to-sequence): Machine Translation, Video classification on frame level 3) Character-level Language Model Backpropagation through time (BPTT) RNN의 문제..

강의 복습 1. Intro to NLP, Bag-of-Words 더보기 1) Intro to Natural Language Processing(NLP) 자연어를 다루는 여러가지 분야 Natural language processing (major conferences: ACL, EMNLP, NAACL) Text mining(major conferences: KDD, The WebConf (formerly, WWW), WSDM, CIKM, ICWSM) Information retrieval (major conferences: SIGIR, WSDM, CIKM, RecSys) NLP의 트렌드: Vector (Word2Vec, GloVe) → RNN (LSTM, GRU) → Transformer (attentio..

강의 복습 1. Generative Models 1 더보기 1) Introduction "What I cannot create, I do not understand." - 리처드 파인만 Generative model: 이미지들이 주어졌을 때 다음을 만족하는 확률분포 p(x)를 찾는 것 Generation: p(x)를 따르는 새로운 샘플을 뽑았을 때 원래 이미지과 비슷해야 함 (sampling) Density estimation: p(x)는 원래 이미지와 비슷하면 높고 아니면 낮아야 함 (anomaly detection) → explicit model Unsupervised representation learning: 주어진 이미지들의 공통점을 찾을 수 있어야 함 (feature learning) 그럼 p..