분류 전체보기 (20) 썸네일형 리스트형 temp 보호되어 있는 글입니다. HANDSON ML CH16 16.4 Attention 메커니즘 - 각 Time Step에서, decoder가 적절한 단어에 초점을 맞추는 구조 - 기존 번역 모델에서는 input-output으로 이어지는 경로가 매우 길다. - decoder가 (encoder의 아웃풋인) input 단어에 집중하는 구조가 있음으로써, RNN의 단기 기억 제한을 극복할 수 있음 a_{i,j} : i번째 decoder time step에서 i번째 encoder 출력의 가중값. * ex) a_(3,2) > a_(3,0) : 3번째 Time step에서, 두 번쨰 단어에 집중한다. $ \tilde{h}_(t) \sum\alpha_{t,j}y_{i} $ $\alpha_(t,i) = \frac{exp(e_(t,j)}{\sum.. [Handson ML] RNN and Translation import tensorflow as tf import numpy as np import keras tf.random.set_seed(42) vocab_size = 100 embed_size = 10 import tensorflow_addons as tfa encoder_inputs = keras.layers.Input(shape=[None], dtype=np.int32) decoder_inputs = keras.layers.Input(shape=[None], dtype=np.int32) sequence_lengths = keras.layers.Input(shape=[], dtype=np.int32) embeddings = keras.layers.Embedding(vocab_size, embed_size.. [Python] VS Code에서 code 실행/debug 할 때 argument 입력 [실행 및 디버그] -> launch.json 에서 cofngurations > "args"에 List 형태로 argument 정보 입력. { // IntelliSense를 사용하여 가능한 특성에 대해 알아보세요. // 기존 특성에 대한 설명을 보려면 가리킵니다. // 자세한 내용을 보려면 https://go.microsoft.com/fwlink/?linkid=830387을(를) 방문하세요. "version": "0.2.0", "configurations": [ { "name": "Python: 현재 파일", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTerminal", "justMyCode": tr.. Ch11 1. Gradient 소실과 폭주 문제 1.1 글로럿과 He 초기화 불안정한 Gradient 문제 완화를 위해, Glorot, X., & Bengio, Y. (2010, March) 논문에서 제안한 초기화 전략임. 이 방법은 Fully connected Network, symmetry하고 x=0에서 기울기 1인 activation function 사용 등의 조건 아래에서, Forward와 Backward 양방향에서 Cost function의 Gradient값의 분산이 동일하도록 초기화 한다. Weight (W_ij)를 평균 0, 분산 1/fan_avg인 정규분포로 초기화 Weight (W_ij)를 Range [-r,+r]인 Uniform distribution으로 초기화. 이 때 r=sqrt(3/fan_.. [Review] DANETs: Deep Abstract Networks for Tabular Data Classification and Regression 출처 : 이 논문에서는 ABSTLAY 라는 flexible한 layer와, 이 layer를 stack한 DANETs(Deep Abstrac Network)을 제안한다. 또한, 이를 re-parametrization 하여 효율적으로 계산할 수 있는 방법을 제시한다. 배경 및 가정 일반적으로 Tabular data의 feature들은(이미지 데이터 등에 비해) 비정칙적이기 때문에, Tabular data에서 Neural Network의 inductive biases는 낮다. 본 연구에서는 tabular data 내부에 (1) 서로 correlation된 feature들로 이루어진 group들이 존재하고, (2) 각 group에 속한 feature들을 통해 higher-level feature들을 뽑아낼 수 .. 핸즈온 머신러닝 2장 # 3.6 다중 레이블 분류 ''' 하나의 샘플이 여러개의 label variable을 가지고 있는 경우. 예를들어, Wafer Bin Map에 scratch, Edge Pattern ''' from sklearn.neighbors import KNeighborsClassifier import numpy as np y_train_large = (y_train >= 7) y_train_odd = (y_train % 2 == 1) y_multilabel = np.c_[y_train_large, y_train_odd] # multi label을 지원하는 KNN classifier 사용 knn_clf = KNeighborsClassifier() knn_clf.fit(X_train, y_multilabel) kn.. [책을읽고] 역사의 쓸모 독후감 역사의 쓸모 - 자유롭고 떳떳한 삶을 위한 22가지 통찰. 최태성 지금. 사실 최태성 선생의 수업을 들어본 적이 없다. 고등학교 1학년 이후 역사는 취미생활에 들어오지 않는 분야였다. 그러다 회사 교육 입과를 위해 독후감을 쓰라는 요청을 받고 책 목록을 훝어보다가 발견한 책. 독후감 쓰기 편할 것 같아 선택한 책은 생각보다 재미있었다. 그리하여 생각보다 열심히 독후감을 쓰기로 했다. [약소국인 신라가 삼국통일의 주인공이 되기까지] 삼국시대, 가장 작은 나라인 신라가 어떻게 통일을 이루었을까? 많은 사실과 해석이 있겠지만 책에서 가장 먼저 언급하는 역사적 사실은 황룡사 9층 목탑의 건축입니다. 당연히 통일 이후에 지어졌을 것이라 생각한 거대 목조 건축물은, 통일 전 백제와 고구려의 견제가 심해질 때 지어졌.. 이전 1 2 3 다음
