Data Analysis (5) 썸네일형 리스트형 Review: Transfer Learning with Deep Tabular Models Contribution dd Pseudo-feature method Propose pseudo-feature method : eanable transfer learning when "Upstream and downstream feature sets differ" When upstream data is missing a column, (compared to downstream data) pre-train a model on the upstream data without that feature fine-tune the pre-trained model on downstream data to predict values in the column absend from the upstream data After as.. HANDSON ML CH16 16.4 Attention 메커니즘 - 각 Time Step에서, decoder가 적절한 단어에 초점을 맞추는 구조 - 기존 번역 모델에서는 input-output으로 이어지는 경로가 매우 길다. - decoder가 (encoder의 아웃풋인) input 단어에 집중하는 구조가 있음으로써, RNN의 단기 기억 제한을 극복할 수 있음 a_{i,j} : i번째 decoder time step에서 i번째 encoder 출력의 가중값. * ex) a_(3,2) > a_(3,0) : 3번째 Time step에서, 두 번쨰 단어에 집중한다. $ \tilde{h}_(t) \sum\alpha_{t,j}y_{i} $ $\alpha_(t,i) = \frac{exp(e_(t,j)}{\sum.. Ch11 1. Gradient 소실과 폭주 문제 1.1 글로럿과 He 초기화 불안정한 Gradient 문제 완화를 위해, Glorot, X., & Bengio, Y. (2010, March) 논문에서 제안한 초기화 전략임. 이 방법은 Fully connected Network, symmetry하고 x=0에서 기울기 1인 activation function 사용 등의 조건 아래에서, Forward와 Backward 양방향에서 Cost function의 Gradient값의 분산이 동일하도록 초기화 한다. Weight (W_ij)를 평균 0, 분산 1/fan_avg인 정규분포로 초기화 Weight (W_ij)를 Range [-r,+r]인 Uniform distribution으로 초기화. 이 때 r=sqrt(3/fan_.. [CV2] Hough Transform Hough Tranform 은 직선을 표현하는 방법으로, 그림에서 직선(혹은 선분)을 검출하는 알고리즘을 지칭하기도 한다. Hough Tranform에 대한 간단한 설명과 Python으로 구현한 코드, 그리고 CV2 library에서 제공하는 함수에 대해 알아보자. 1. Parametrization of Line 2차원 공간에서 직선을 나타내는(정의하는) 방법에 대해 생각해보자. 기울기(a)와 절편(b) 을 사용해 직선을 정의할 수 있다. (그림 왼쪽) 이 때, 두 parameter 값의 범위는 a, b ∈ (-∞,∞) 이다. 어떤 두 점을 지나는 직선은 유일하게 존재한다. 따라서 두 점 $(x_1, y_1)$, $(x2,y2)$을 사용해 유일한 직선을 정의할 수 있다. (중간 그림). 주어진 image.. [백준] Linear Algebra and Group 백준 - Linear Algebra and Group (https://www.acmicpc.net/problem/15636) 문제 자체는 심플하다. 선형대수 책 "선형대수와 군"(이인석, 개정판)의 표지에 있는 숫자의 합을 구하면 된다. 다만, 표지 이미지를 직접 구해야 한다. 인터넷에서 최대한 고해상도의 이미지를 구해보자. 혹은 아래 그림을 사용한다. 수의 합을 구하는 방법은 제한이 없다. 따라서 숫자를 구분할 수 있는 어떤 방법도 사용할 수 있다. 이중 분류와 예측방법을 각각 사용하여 문제를 풀어보자. 1. 비지도학습 : 배경색 분류하기 책 표지는 0부터 9까지 숫자 이미지로 이루어져 있다. 조금 더 자세히 살펴보면, 각 숫자는 고유한 배경색을 가지고 있다. 그렇다면 숫자(검은색 pixel) 자체를 .. 이전 1 다음
