보미의 Tech Blog

특강 및 마스터클래스를 들으면서 느낀 점 오늘 첫 번째 특강은 퀀트 트레이딩 관련 내용이었다. 구종만 마스터님께서 유명한 알고리즘 책 저자라서 그런지 금융뿐만 아니라 알고리즘에 대한 질문도 많았다. 두 번째 특강은 AI 윤리에 대한 내용이었다. 철학적이고 깊이있는 질문들이 많이 나왔는데 역시 마스터님도 명쾌한 답을 주시지는 못하셨다. AI 윤리는 어렵지만 개발자로서 반드시 고민해야 하는 주제라고 생각한다.

특강 및 마스터클래스를 들으면서 느낀 점 오늘 특강은 NLP와 저작권법에 관한 내용이었다. NLP 특강은 수업의 연장선 느낌이었다. 그리고 저작권법은 AI 엔지니어라면 항상 신경써야 하는 내용이라고 생각하는데 이렇게 특강으로 다뤄주셔서 좋았다.

특강 및 마스터클래스를 들으면서 느낀 점 저번에 부스트캠프에서 한 캐글 대회에 참가한 이후로 캐글에 관심을 가지게 되었는데 오늘 캐글 관련 특강이 있어서 유심히 들었다. 아직 실력이 많이 부족하지만 일단 타이타닉부터 도전해봐야겠다고 다짐했다. 그리고 두 번째 특강은 풀스택에 관한 내용이었다. 나도 전에 웹을 공부한 적이 있고 어느 정도 풀스택을 목표로 하고 있긴 하지만 현실적으로 프론트엔드, 백엔드에다 머신러닝까지 다 하기에는 너무 힘든 것 같다. 욕심부리지 말고 일단 하나라도 제대로 할 줄 아는 것을 목표로 해야겠다. 공부한 내용 오늘도 어제와 마찬가지로 알고리즘 문제를 풀고 저번 주에 대충 작성했던 학습정리 포스트를 다시 작성했다.

특강 및 마스터클래스를 들으면서 느낀 점 오늘 강사분 중 나와 같은 산업공학과 출신이 계셨는데 마스터클래스때 전공자에 비해 부족한 부분을 극복한 방법과 산업공학과의 장점에 대한 질문이 나왔다. 나도 계속 고민해왔던 질문이라 반가웠다. 내가 생각하는 산업공학과의 장점은 최적화를 잘 하고 폭넓은 시야를 가지고 있다는 것이다. 하지만 자칫하면 전문성이 떨어질 수 있기 때문에 한 가지 분야를 정해서 깊게 파는 것이 필요하다고 생각한다. 공부한 내용 저번 설 연휴때 Leetcode 챌린지를 하면서 매일매일 알고리즘을 풀었었는데 이번주는 특강이다보니 비교적 여유가 있어서 오늘부터 다시 챌린지를 시작했다. 어제것까지 두 문제를 풀었는데 둘 다 간단한 문제였는데 나중에 답을 확인해보니까 생각지도 못했던 여러가지 풀이가..

강의복습 1. 그래프 신경망이란 무엇일까? (기본) 더보기 1) 정점 표현 학습 그래프의 정점들을 벡터로 표현하는 것 (정점 임베딩) 그래프에서 정점 사이의 유사성을 계산하는 방법에 따라 인접성, 거리, 경로, 중첩, 임의보행 등 여러 접근법으로 구분됨 귀납식 정점 표현 학습의 장점 학습이 진행된 이후에 추가된 정점에 대해서도 임베딩을 얻을 수 있음 모든 정점에 대한 임베딩을 미리 계산하여 저장해둘 필요가 없음 정점이 속성(Attribute) 정보를 가진 경우 이를 활용할 수 있음 2) 그래프 신경망 기본 그래프 신경망: 그래프와 정점의 속성 정보를 입력으로 받음 이웃 정점들의 정보를 집계하는 과정을 반복하여 임베딩을 얻음 각 집계 단계를 층이라고 부름 계산 그래프(Computation Graph): 대..

강의복습 1. 그래프의 정점을 어떻게 벡터로 표현할까? 더보기 1) 정점 표현 학습 그래프의 정점들을 벡터로 표현하는 것 정점 임베딩(Node Embedding)이라고도 함 임베딩 공간: 정점이 표현되는 벡터 공간 정점 표현 학습의 목표: 그래프에서의 정점간 유사도를 임베딩 공간에서도 보존하는 것 임베딩 공간에서의 유사도: 내적 사용 그래프에서 정점 사이의 유사성을 계산하는 방법에 따라 여러 접근법이 구분됨 2) 인접성(Adjacency) 기반 접근법 두 정점이 인접할 때(둘을 직접 연결하는 간선이 있을 때) 유사하다고 간주 인접 행렬: 두 정점 u, v가 인접한 경우 해당 원소 1, 아니면 0 손실 함수 3) 거리/경로/중첩 기반 접근법 거리 기반 접근법: 두 정점 사이의 거리가 충분히 가까운 경우 유..

강의복습 1. 그래프의 구조를 어떻게 분석할까? 더보기 1) 군집 구조와 군집 탐색 문제 군집(Community): 다음 조건들을 만족하는 정점들의 집합 집합에 속하는 정점 사이에는 많은 간선이 존재 집합에 속하는 정점과 그렇지 않은 정점 사이에는 적은 수의 간선이 존재 실제 그래프의 군집들은 무엇을 의미할까? 온라인 소셜 네트워크의 군집: 사회적 무리(Social Circle), 부정 행위, 조직 내의 분란 키워드-광고주 그래프의 군집: 동일한 주제의 키워드 뉴런간 연결 그래프의 군집: 뇌의 기능적 구성 단위 군집 탐색(Community Detection) 문제: 그래프를 여러 군집으로 잘 나누는 문제 2) 군집 구조의 통계적 유의성과 군집성 배치 모형(Configuration Model): 각 정점의..

강의복습 1. 검색 엔진에서는 그래프를 어떻게 활용할까? 더보기 1) 페이지랭크의 배경 웹: 웹페이지와 하이퍼링크로 구성된 거대한 방향성 있는 그래프 구글 이전의 검색 엔진의 한계 디렉토리: 웹페이지 수가 증가하면 카테고리의 수와 깊이도 무한정 커짐, 카테고리 구분 모호 키워드: 악의적인 웹페이지에 취약 구글의 창업자인 래리 페이지(Larry Page)와 세르게이 브린(Sergey Brin)이 페이지랭크 개념 제안 2) 페이지랭크의 정의 투표 관점: 하이퍼링크를 통한 가중 투표(주체: 웹페이지) 악용 막기 위해 가중 투표 함 씨가 (자신의 페이지랭크 점수 / 나가는 이웃의 수) 재귀(Recursion): 연립방정식 풀이 페이지랭크 점수: 측정하려는 웹페이지의 관련성 및 신뢰도 임의 보행 관점: 웹서퍼가 ..

강의복습 1. 그래프란 무엇이고 왜 중요할까? 더보기 1) 그래프란 무엇이고 왜 중요할까? 그래프(Graph): 정점(Vertex) 집합과 간선(Edge) 집합으로 이루어진 수학적 구조 하나의 간선은 두 개의 정점을 연결 그래프는 네트워크(Network)로도 불림 정점: Node, 간선: Link 복잡계를 표현하고 분석하기 위한 언어 2) 그래프 관련 인공지능 문제 정점 분류, 연결 예측, 추천, 군집 분석, 랭킹, 정보 검색, 정보 전파, 바이럴 마케팅 등 3) 그래프 관련 필수 기초 개념 방향성이 없는 그래프(Undirected Graph) / 방향성이 있는 그래프(Directed Graph) 가중치가 없는 그래프(Unweighted Graph) / 가중치가 있는 그래프(Weighted Graph) ..

강의복습 1. Self-supervised Pre-training Models 더보기 1) GPT-1 효과적인 transfer learning 위해 // $ 와 같은 special token 사용 2) BERT masked language modeling task large-scale data & large-scale model Pre-training Tasks Masked Language Model (MLM) Mask some percentage of the input tokens at random, and then predict those masked tokens. 15% of the words to predict 80% of the time, replace with [MASK] 10% of the ..