티스토리

보미의 Tech Blog

검색하기

블로그 홈

보미의 Tech Blog

bomidev.tistory.com/m

내가 보기 위해 쓰는 블로그

구독자: 0

방명록 방문하기

주요 글 목록

Day40 학습정리 - 모델경량화5 강의복습 1. 행렬 분해 - Low-rank approximation for model compression 더보기 1) 미니 코드: Approximation 2) 강의 주제 Three maps Matrix(Tensor) is a data modeling tool Matrix(Tensor) is a linear transformation(map) 3원 1차 연립방정식(Three-way first-order system of equations) Gaussian elimination Filter decomposition: ex) Conv. layers Matrix factorization: 2차원 데이터 Tensor factorization: 고차원 데이터 Kernel method Matrix decompo.. 공감수 0 댓글수 0 2021. 3. 19.
Day39 학습정리 - 모델경량화4 강의복습 1. 양자화 (Quantization) 더보기 1) 미니 코드: Floating-point operations 2) 강의 주제 Fixed point, floating point Fixed point: 메모리가 적게 들고 연산 속도 빠름 Floating point: 더 넓은 범위 표시 가능 Precision: Variance, Accuracy: Bias Quantization이란 여러 quantization들 Dynamic quantization Static quantization Quantization 결과 테이블 읽기 3) 토이 코드: Layer-wise histogram 2. 지식 증류 (Knowledge distillation) 더보기 1) 미니 코드: (Hard)Max, Argmax, S.. 공감수 0 댓글수 0 2021. 3. 18.
Day38 학습정리 - 모델경량화3 강의복습 1. Acceleration 더보기 1) 미니 코드: List operations 2) 강의 주제 Acceleration Hardwares (chip) Compression & acceleration Deep learning compiler 3) 토이 코드: Parallel processing 2. Pruning for network compression 더보기 1) 미니 코드: Masking 2) 강의 주제 Weighted sum Pruning이란 여러 Pruning들 Global Magnitude Pruning Layerwise Magnitude Pruning Global Gradient Magnitude Pruning Layerwise Gradient Magnitude Pruning Ran.. 공감수 0 댓글수 0 2021. 3. 17.
Day37 학습정리 - 모델경량화2 강의복습 1. 모델의 시공간 더보기 1) 미니 코드: Time complexity 2) 강의 주제 Space and time Parameter search Hyperparameter search Neural Architecture search NAS for edge devices 3) 토이 코드: Network profiling 2. Compression 더보기 1) 미니 코드: Codebook 2) 강의 주제 압축(Compression) Huffman coding velog.io/@junhok82/%ED%97%88%ED%94%84%EB%A7%8C-%EC%BD%94%EB%94%A9Huffman-coding 부호(Coding) 부호화(Encoding) 압축률(Compression rate) Compress.. 공감수 0 댓글수 0 2021. 3. 16.
Day36 학습정리 - 모델경량화1 강의복습 1. 가벼운 모델 더보기 1) 미니 코드: Object in memory 2) 미니 코드: Python bytecode 역어셈블러 3) 강의 주제 결정 (Decision making) 결정기 (Decision making machine) 가벼운 결정기 (Lightweight decision making machine) Backbone & dataset for model compression Edge devices Edge intelligence 4) 토이 코드: Model conversion 2. 동전의 뒷면 더보기 1) 미니 코드: System resource monitoring 2) 강의 주제 정방향, 역방향 AI에서 On-device AI에서 On-device AI Solution 사례 (.. 공감수 0 댓글수 0 2021. 3. 15.
Day35 학습정리 - CV5 강의복습 1. Multi-modal: Captioning and speaking 더보기 1) Overview of multi-modal learning multi-modal Challenge Different representations between modalities Unbalance between heterogeneous feature space biased on a specific modality 2) Multi-modal tasks(1) - Visual data & Text Text embedding Joint embedding Cross modal translation Cross modal reasoning 3) Multi-modal tasks(2) - Visualo data & audio S.. 공감수 0 댓글수 0 2021. 3. 12.
Day34 학습정리 - CV4 강의복습 1. Instance/Panoptic segmentation 더보기 1) Instance segmentation Instance segmentation = Semantic segmentation + distinguishing instances Mask R-CNN FasterR-CNN+Mask branch RoIAlign: 소수점 픽셀까지 정교하게 계산 YOLACT(You Only Look At CoefficientTs) Prototypes: mask를 합성할 수 있는 재료들 적은 개수의 prototypes의 선형결합으로 다양한 mask 생성 YolactEdge: video로 확장 2) Panoptic segmentation Semantic segmentations: Stuff(배경 관련) + T.. 공감수 0 댓글수 0 2021. 3. 11.
Day33 학습정리 - CV3 강의복습 1. Object detection 더보기 1) Object detection Sementic segmentation: 클래스만 구분 가능 Instane segmentation, Panopti segmentation: 개체 각각 구분 가능 object detection: Classification + Box localization 예시: Autonomous driving, Optical Character Recognition(OCR) 2) Two-stage detector(R-CNN family) Gradient-based detector (e.g. HOG) Selective search(Box proposal) R-CNN: Regions with CNN features, Directly lev.. 공감수 0 댓글수 0 2021. 3. 10.
Day32 학습정리 - CV2 강의복습 1. Image classification II 더보기 1) Problems with deeper layers Gradient vanishing / exploding Computationally coomplex Degradation 2) CNN architectures for image classification 2 GoogLeNet 채널 개수 줄이기 위해 1×1 convolution 적용 Stem network Stacked inception modules Auxiliary classifiers Classifier output (a single FC layer) ResNet Degradation 문제 해결하기 위해 Shortcut connection 적용 기타 DenseNet SENet Eff.. 공감수 0 댓글수 0 2021. 3. 9.
Day31 학습정리 - CV1 강의복습 1. Image classification 1 더보기 1) Course overview 2) Image classification k Nearest Neighbors(k-NN) Convolutional Neural Netwoks(CNN) 3) CNN architectures for image classification 1 AlexNet VGGNet GoogLeNet ResNet DenseNet, SENet, EfficientNet 2. Annotation data efficient learning 더보기 1) Data augmentation Brightness adjustment Rotate, flip Crop Affine transformation CutMix 2) Leveraging pre-.. 공감수 0 댓글수 0 2021. 3. 8.
Day30 학습정리 - AI + ML과 Quant Trading & AI Ethics 특강 및 마스터클래스를 들으면서 느낀 점 오늘 첫 번째 특강은 퀀트 트레이딩 관련 내용이었다. 구종만 마스터님께서 유명한 알고리즘 책 저자라서 그런지 금융뿐만 아니라 알고리즘에 대한 질문도 많았다. 두 번째 특강은 AI 윤리에 대한 내용이었다. 철학적이고 깊이있는 질문들이 많이 나왔는데 역시 마스터님도 명쾌한 답을 주시지는 못하셨다. AI 윤리는 어렵지만 개발자로서 반드시 고민해야 하는 주제라고 생각한다. 공감수 0 댓글수 0 2021. 3. 5.
Day29 학습정리 - NLP를 위한 언어 모델의 학습, 평가 & AI와 저작권법 특강 및 마스터클래스를 들으면서 느낀 점 오늘 특강은 NLP와 저작권법에 관한 내용이었다. NLP 특강은 수업의 연장선 느낌이었다. 그리고 저작권법은 AI 엔지니어라면 항상 신경써야 하는 내용이라고 생각하는데 이렇게 특강으로 다뤄주셔서 좋았다. 공감수 0 댓글수 0 2021. 3. 4.
Day28 학습정리 - 캐글 경진대회 노하우 & Full Stack ML Engineer 특강 및 마스터클래스를 들으면서 느낀 점 저번에 부스트캠프에서 한 캐글 대회에 참가한 이후로 캐글에 관심을 가지게 되었는데 오늘 캐글 관련 특강이 있어서 유심히 들었다. 아직 실력이 많이 부족하지만 일단 타이타닉부터 도전해봐야겠다고 다짐했다. 그리고 두 번째 특강은 풀스택에 관한 내용이었다. 나도 전에 웹을 공부한 적이 있고 어느 정도 풀스택을 목표로 하고 있긴 하지만 현실적으로 프론트엔드, 백엔드에다 머신러닝까지 다 하기에는 너무 힘든 것 같다. 욕심부리지 말고 일단 하나라도 제대로 할 줄 아는 것을 목표로 해야겠다. 공부한 내용 오늘도 어제와 마찬가지로 알고리즘 문제를 풀고 저번 주에 대충 작성했던 학습정리 포스트를 다시 작성했다. 공감수 0 댓글수 0 2021. 3. 3.
Day27 학습정리 - 서비스 향 AI 모델 개발 & AI 시대의 커리어 빌딩 특강 및 마스터클래스를 들으면서 느낀 점 오늘 강사분 중 나와 같은 산업공학과 출신이 계셨는데 마스터클래스때 전공자에 비해 부족한 부분을 극복한 방법과 산업공학과의 장점에 대한 질문이 나왔다. 나도 계속 고민해왔던 질문이라 반가웠다. 내가 생각하는 산업공학과의 장점은 최적화를 잘 하고 폭넓은 시야를 가지고 있다는 것이다. 하지만 자칫하면 전문성이 떨어질 수 있기 때문에 한 가지 분야를 정해서 깊게 파는 것이 필요하다고 생각한다. 공부한 내용 저번 설 연휴때 Leetcode 챌린지를 하면서 매일매일 알고리즘을 풀었었는데 이번주는 특강이다보니 비교적 여유가 있어서 오늘부터 다시 챌린지를 시작했다. 어제것까지 두 문제를 풀었는데 둘 다 간단한 문제였는데 나중에 답을 확인해보니까 생각지도 못했던 여러가지 풀이가.. 공감수 0 댓글수 0 2021. 3. 2.
Day25 학습정리 - GNN 기초 & GNN 심화 강의복습 1. 그래프 신경망이란 무엇일까? (기본) 더보기 1) 정점 표현 학습 그래프의 정점들을 벡터로 표현하는 것 (정점 임베딩) 그래프에서 정점 사이의 유사성을 계산하는 방법에 따라 인접성, 거리, 경로, 중첩, 임의보행 등 여러 접근법으로 구분됨 귀납식 정점 표현 학습의 장점 학습이 진행된 이후에 추가된 정점에 대해서도 임베딩을 얻을 수 있음 모든 정점에 대한 임베딩을 미리 계산하여 저장해둘 필요가 없음 정점이 속성(Attribute) 정보를 가진 경우 이를 활용할 수 있음 2) 그래프 신경망 기본 그래프 신경망: 그래프와 정점의 속성 정보를 입력으로 받음 이웃 정점들의 정보를 집계하는 과정을 반복하여 임베딩을 얻음 각 집계 단계를 층이라고 부름 계산 그래프(Computation Graph): 대.. 공감수 0 댓글수 0 2021. 2. 26.
Day24 학습정리 - 정점 표현 & 추천시스템 (심화) 강의복습 1. 그래프의 정점을 어떻게 벡터로 표현할까? 더보기 1) 정점 표현 학습 그래프의 정점들을 벡터로 표현하는 것 정점 임베딩(Node Embedding)이라고도 함 임베딩 공간: 정점이 표현되는 벡터 공간 정점 표현 학습의 목표: 그래프에서의 정점간 유사도를 임베딩 공간에서도 보존하는 것 임베딩 공간에서의 유사도: 내적 사용 그래프에서 정점 사이의 유사성을 계산하는 방법에 따라 여러 접근법이 구분됨 2) 인접성(Adjacency) 기반 접근법 두 정점이 인접할 때(둘을 직접 연결하는 간선이 있을 때) 유사하다고 간주 인접 행렬: 두 정점 u, v가 인접한 경우 해당 원소 1, 아니면 0 손실 함수 3) 거리/경로/중첩 기반 접근법 거리 기반 접근법: 두 정점 사이의 거리가 충분히 가까운 경우 유.. 공감수 0 댓글수 0 2021. 2. 25.
Day23 학습정리 - 군집 탐색 & 추천시스템 (기초) 강의복습 1. 그래프의 구조를 어떻게 분석할까? 더보기 1) 군집 구조와 군집 탐색 문제 군집(Community): 다음 조건들을 만족하는 정점들의 집합 집합에 속하는 정점 사이에는 많은 간선이 존재 집합에 속하는 정점과 그렇지 않은 정점 사이에는 적은 수의 간선이 존재 실제 그래프의 군집들은 무엇을 의미할까? 온라인 소셜 네트워크의 군집: 사회적 무리(Social Circle), 부정 행위, 조직 내의 분란 키워드-광고주 그래프의 군집: 동일한 주제의 키워드 뉴런간 연결 그래프의 군집: 뇌의 기능적 구성 단위 군집 탐색(Community Detection) 문제: 그래프를 여러 군집으로 잘 나누는 문제 2) 군집 구조의 통계적 유의성과 군집성 배치 모형(Configuration Model): 각 정점의.. 공감수 0 댓글수 0 2021. 2. 24.
Day22 학습정리 - 페이지랭크 & 전파 모델 강의복습 1. 검색 엔진에서는 그래프를 어떻게 활용할까? 더보기 1) 페이지랭크의 배경 웹: 웹페이지와 하이퍼링크로 구성된 거대한 방향성 있는 그래프 구글 이전의 검색 엔진의 한계 디렉토리: 웹페이지 수가 증가하면 카테고리의 수와 깊이도 무한정 커짐, 카테고리 구분 모호 키워드: 악의적인 웹페이지에 취약 구글의 창업자인 래리 페이지(Larry Page)와 세르게이 브린(Sergey Brin)이 페이지랭크 개념 제안 2) 페이지랭크의 정의 투표 관점: 하이퍼링크를 통한 가중 투표(주체: 웹페이지) 악용 막기 위해 가중 투표 함 씨가 (자신의 페이지랭크 점수 / 나가는 이웃의 수) 재귀(Recursion): 연립방정식 풀이 페이지랭크 점수: 측정하려는 웹페이지의 관련성 및 신뢰도 임의 보행 관점: 웹서퍼가 .. 공감수 0 댓글수 0 2021. 2. 23.
Day21 학습정리 - 그래프 이론 기초 & 그래프 패턴 강의복습 1. 그래프란 무엇이고 왜 중요할까? 더보기 1) 그래프란 무엇이고 왜 중요할까? 그래프(Graph): 정점(Vertex) 집합과 간선(Edge) 집합으로 이루어진 수학적 구조 하나의 간선은 두 개의 정점을 연결 그래프는 네트워크(Network)로도 불림 정점: Node, 간선: Link 복잡계를 표현하고 분석하기 위한 언어 2) 그래프 관련 인공지능 문제 정점 분류, 연결 예측, 추천, 군집 분석, 랭킹, 정보 검색, 정보 전파, 바이럴 마케팅 등 3) 그래프 관련 필수 기초 개념 방향성이 없는 그래프(Undirected Graph) / 방향성이 있는 그래프(Directed Graph) 가중치가 없는 그래프(Unweighted Graph) / 가중치가 있는 그래프(Weighted Graph) .. 공감수 0 댓글수 0 2021. 2. 22.
Day20 학습정리 - NLP5 강의복습 1. Self-supervised Pre-training Models 더보기 1) GPT-1 효과적인 transfer learning 위해 // $ 와 같은 special token 사용 2) BERT masked language modeling task large-scale data & large-scale model Pre-training Tasks Masked Language Model (MLM) Mask some percentage of the input tokens at random, and then predict those masked tokens. 15% of the words to predict 80% of the time, replace with [MASK] 10% of the .. 공감수 0 댓글수 0 2021. 2. 19.
Day19 학습정리 - NLP4 강의복습 Transformer 더보기 1) Scaled Dot-Product Attention input: Query, Key, Value (벡터) output: weighted sum of values multiple queries 2) Multi-head attention : W 행렬을 사용해 Q, K, V를 h개의 lower dimensional space에 mapping시킴 3) Block-Based Model 각 블록은 2개의 sub-layer로 구성 Multi-head attention, Two-layer feed-forward NN (with ReLU) 각 단계마다 Residual connection, layer normalization 존재 → 𝐿𝑎𝑦𝑒𝑟𝑁𝑜𝑟𝑚(𝑥 + 𝑠𝑢𝑏𝑙𝑎𝑦𝑒𝑟(𝑥).. 공감수 0 댓글수 0 2021. 2. 18.
Day18 학습정리 - NLP3 강의 복습 1. Sequence to Sequence with Attention 더보기 Seq2Seq Model Sequence를 입력받아서 Sequence를 출력 (many to many) encoder와 decoder로 구성 Seq2Seq Model with Attention NMP 퍼포먼스 향상 Bottleneck 문제 해결 Vanishing gradient 문제 해결 Interpretability Different Attention Mechanisms Luong attention Bahdanau attention 2. Beam Search and BLEU 더보기 1) Beam search Greedy decoding: decision 취소할 수 없음, 토큰 생성할 때까지 디코딩 Exhaustiv.. 공감수 0 댓글수 0 2021. 2. 17.
Day17 학습정리 - NLP2 강의 복습 1. Recurrent Neural Network and Language Modeling 더보기 1) Basics of Recurrent Neural Networks (RNNs) 2) Types of RNNs One-to-one: Standard Neural Networks One-to-many: Image Captioning Many-to-one: Sentiment Classification Many-to-many(Sequence-to-sequence): Machine Translation, Video classification on frame level 3) Character-level Language Model Backpropagation through time (BPTT) RNN의 문제.. 공감수 0 댓글수 0 2021. 2. 16.
Day16 학습정리 - NLP1 강의 복습 1. Intro to NLP, Bag-of-Words 더보기 1) Intro to Natural Language Processing(NLP) 자연어를 다루는 여러가지 분야 Natural language processing (major conferences: ACL, EMNLP, NAACL) Text mining(major conferences: KDD, The WebConf (formerly, WWW), WSDM, CIKM, ICWSM) Information retrieval (major conferences: SIGIR, WSDM, CIKM, RecSys) NLP의 트렌드: Vector (Word2Vec, GloVe) → RNN (LSTM, GRU) → Transformer (attentio.. 공감수 0 댓글수 0 2021. 2. 15.
Day15 학습정리 - Generative Model 강의 복습 1. Generative Models 1 더보기 1) Introduction "What I cannot create, I do not understand." - 리처드 파인만 Generative model: 이미지들이 주어졌을 때 다음을 만족하는 확률분포 p(x)를 찾는 것 Generation: p(x)를 따르는 새로운 샘플을 뽑았을 때 원래 이미지과 비슷해야 함 (sampling) Density estimation: p(x)는 원래 이미지와 비슷하면 높고 아니면 낮아야 함 (anomaly detection) → explicit model Unsupervised representation learning: 주어진 이미지들의 공통점을 찾을 수 있어야 함 (feature learning) 그럼 p.. 공감수 0 댓글수 0 2021. 2. 5.
Day14 학습정리 - Recurrent Neural Networks 강의 복습 1. RNN 첫걸음 더보기 1) 시퀀스 데이터 시계열(time-series) 데이터와 같이 순서가 있는 데이터 (소리, 문자열, 주가 등) 순서를 바꾸거나 과거 정보에 손실이 발생하면 확률분포도 바뀜 앞으로 발생할 데이터의 확률분포 다루기 위해 조건부확률 이용(베이즈법칙) 길이가 가변적인 데이터를 다룰 수 있는 모델 필요 AR(𝜏) (Autoregressive) 자기회귀모델: 고정된 길이 𝜏만큼의 시퀀스만 사용 잠재AR모델: 바로 이전 정보를 제외한 나머지 정보들을 Ht라는 잠재변수로 인코딩 2) RNN 이해하기 가장 기본적인 RNN: MLP와 유사한 모양 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링 활성화함수: tanh 사용 역전파: 잠재변수의 연결그래프에 따라 순차적으로 계산 → .. 공감수 0 댓글수 0 2021. 2. 4.
Day13 학습정리 - Convolutional Neural Networks 강의 복습 1. CNN 더보기 1) Convolution Continuous convolution Discrete convolution 2D image convolution 2) Convolutional Neural Networks convolutional layer: 각 필터당 하나의 feature map이 형성되고, 그 feature map을 스택처럼 쌓아둔 것 pooling layer: 차원 축소 Max pooling layer: window에 포함된 픽셀들의 최대값 Average pooling later: window에 포함된 픽셀들의 평균값 fully connected layer: decision making (e.g. classification) 3) Convolution Arithmetic .. 공감수 0 댓글수 0 2021. 2. 3.
Day12 학습정리 - 최적화 강의 복습 1. Optimization 더보기 1) Important Concepts in Optimization Generalization training error와 test error 사이의 차이 Under-fitting vs Over-fitting Cross validation k-fold validation: 데이터를 k개로 나눈 후 돌아가면서 k-1개는 training에 사용하고 나머지 1개는 validation으로 사용 기타: Leave-p-out, Leave-one-out, Stratified k-fold, Repeated Random Sampling, Nested, TimeSeries 등 참고 교차 검증(cross validation) 이번 시간에는 머신러닝에서 평가에 필수적으로 사용되는.. 공감수 0 댓글수 0 2021. 2. 2.
Day11 학습정리 - 딥러닝 기초 강의 복습 1. 베이즈 통계학 맛보기 더보기 1) 조건부확률 & 베이즈 정리 2) 조건부 확률의 시각화 𝜃 ¬𝜃 𝒟 True Positive P(𝒟|𝜃)P(𝜃) False Positive (1종 오류) P(𝒟|¬𝜃)P(¬𝜃) ¬𝒟 False Negative (2종 오류) P(¬𝒟|𝜃)P(𝜃) True Negative P(¬𝒟|¬𝜃)P(¬𝜃) 민감도(Recall): P(𝒟|𝜃) 오탐(False alarm): P(𝒟|¬𝜃) 특이도(Specificity): P(¬𝒟|¬𝜃) 정밀도(Precision): P(𝜃|𝒟) = TP/(TP+FP) 3) 베이즈 정리를 통한 정보의 갱신 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산 인과관계(causality)를 추론할 때 조.. 공감수 0 댓글수 0 2021. 2. 1.
Day10 학습정리 - 시각화 / 통계학 강의 복습 1. 시각화 도구 더보기 1) matplotlib 파이썬의 대표적인 시각화 도구 pyplot 객체를 사용하여 데이터를 표시 Figure 안에 axis로 구성 subplot: grid로 순서 작성 color, linestyle, title, legend(범례), grid, xylim(x,y축 범위) 등 지정 가능 그래프 종류: scatter, bar, hist(히스토그램), boxplot 2) seaborn 기존 matplotlib에 기본 설정 추가 복잡한 그래프를 간단하게 만들 수 있는 wrapper 간단한 코드 + 예쁜 결과 basic plots: lineplot, scatterplot, countplot 등 predefined plots: violinplot, stripplot, swarm.. 공감수 0 댓글수 0 2021. 1. 29.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.