본문 바로가기

전체 글101

17.1 효율적인 데이터 표현 AutoEncoder introduction * 위 두 개의 sequence를 완벽하게 외워야 된다고 생각해보자. 얼핏 보기엔 첫 번째 sequence가 더 짧기 때문에 더 외우기 쉬울 것으로 보인다. 하지만 자세히 들여다보면, 두 번째 sequence는 50부터 2씩 14까지 줄어드는 pattern을 가지고 있기 때문에 오히려 두 번째 sequence가 더 외우기 쉬울 것이다. * 이와 같이 긴 sequence의 경우 pattern을 찾아 기억하는 것이 더 쉽다. 우리가 사용할 autoencoder 또한 마찬가지이다. * AutoEncoder는 기본적으로 Encoder(recognition network), Decoder(generative network)부분으로 구분된다. Encoder는 입력된 정보.. 2021. 12. 23.
RNN을 이용한 디코더-인코더 - Seq2Seq 시퀀스 투 시퀀스(sequence to sequence) * seq2seq model은 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 데 주로 쓰인다. 예를 들어 한글을 입력하면(domain : 한글) 영어를 출력하는(domiani : 영어) 모델이나, 사용자가 입력을 집어넣으면(domain : 질문) 적절한 대답을 하는(domain : 대답) 챗봇 등이 될 수 있다. 이번 포스팅에서는 seq2seq model에 대해 살펴보되 번역기의 예를 들어 살펴보겠다(보통 가장 많이 사용하는 분야가 번역이기도 하다). 대략적인 구성 * seq2seq model의 인코더 및 디코더는 각각의 RNN모델로 구성되어 있다. 그렇다고 vanilla RNN을 그냥 사용하는 것은 아니고 성능 문제로 인해서 보통 LSTM이.. 2021. 12. 23.
2.2 The Inverse of a Matrix Invertible Matrix(역행렬) * n x n square matrix A는(역행렬이 존재하려면 square matrix여야 한다.) 아래와 같은 n x n matrix C가 존재할 때 역행렬이 존재한다고 할 수 있다. 그리고 해당 역행렬은 이 matrix C가 된다. $CA = I$ and $AC = I$ * 또한 이 Invertible matrix는 unique하다. $B = BI = B(AC) = (BA)C = IC = C$ $\therefore B=C$ Theorem 4. Let A = $\begin{bmatrix} a & b \\ c & d \end{bmatrix}$. If $ad - bc \neq 0$ then A is invertible and $A^{-1} = \frac{1}{ad.. 2021. 12. 22.
2.1 Matrix Operations Matrix Notation * matrix notation은 위와 같다. Theorem 1. Let A, B and C be matrices of the same size, and let r and s be scalars 1) A + B = B + A 2) (A+B) + C = A + (B+C) 3) A + 0 = A 4) r(A+B)=rA + rB 5) (r+s)A = rA + sA 6) r(sA) = (rs)A * 각각의 Matrix는 column vector들로 이뤄져있기 때문에 vector의 성질을 그대로 만족하게 된다. Matrix Multiplication * m x n matrix A와 n x p matrix B의 곱 AB는 다음과 같이 나타낼 수 있다. $AB = A[b_1 b_2 ..... 2021. 12. 22.

티스토리툴바