본문 바로가기

Deep Learning71

GAN(Generative Adversarial Network) GAN * GAN은 생성적 적대 신경망이라는 이름에서 알 수 있듯이 신경망의 경쟁을 통해 더 나은 네트워크를 도출해내는 기법을 뜻한다. Generator(생성자) * generator random한 분포, 이를테면 Gaussian distribution과 같은 분포를 입력으로 받고, 이를 coding과 같이 취급해 이미지를 생성해내는 역할을 한다. 이는 variational autoencoder의 decoder부분과 비슷한 역할이다. Discriminator(판별자) * discriminator는 입력된 이미지가 training set에서 나온 real image인지, Gaussian distribution에서 추출되어 generator가 생성한 fake image인지를 판별하는 판별자이다. 훈련 과정 .. 2022. 1. 1.
17.8 Variational AutoEncoder Variational AutoEncoder(변이형 오토인코더) * variational autoencoder는 여태껏 살펴봤던 autoencoder들과는 조금 다르다. 먼저 probabilistic autoencoder이다. 훈련 과정 뿐만 아니라 테스트 과정에서도 출력이 부분적으로 우연에 의해 결정되기 때문이다(denoise autoencoder가 훈련시에만 gaussian noise 혹은 dropout을 적용하는 것과는 차이가 있다). 두 번째로는 generative autoencoder이다. 훈련 sample에서 생성한 것과 같은 sample을(분포가 같은) 생성할 수 있는 autoencoder이다. 자 이제 variational autoencoder의 구조를 살펴보자. * 구조는 일반적인 auto.. 2021. 12. 28.
17.7 Sparse AutoEncoder Sparse AutoEncoder * Sparse AutoEncoder는 규제 기법을 통해 coding층의 훈련시마다 뉴런 개수를 제한함으로서 각 뉴런들이 더 유용한 특성을 학습하여 coding을 만들어낼 수 있도록 하는 기법이다. 이는 dropout에서 일부 뉴런을 의도적으로 훈련에서 누락시켜 나머지 뉴런들이 더 유용한 특성을 학습하도록 하게 만드는 것과 비슷하다. * 규제 방법으로는 각 뉴런의 평균 활성화 정도를 측정해서 목표 평균 활성화 정도와 비교해 loss에 더하는 것을 들 수 있다. 예를 들어 각 뉴런이 평균적으로 0.3만큼 활성화 되었고, 목표 평균 활성화 정도가 0.1이라면 loss에 $(0.3 - 0.1)^2$를 더하는 방식을 사용할 수도 있다. 실전에서 더 좋은 방법은 Kullback-.. 2021. 12. 28.
Sparse Representation, Dense Representation Word Embedding * word embedding은 단어를 벡터로 표현하는 방법이다. 대표적인 방법으로는 LSA, Word2Vec, FastText, Glove등이 있다. Sparse Representation(희소 표현) * sparse representation은 단어를 sparse vector로 표현하는 방식을 뜻한다. sparse vector는 vector의 대부분이 0으로 이뤄진 vector를 뜻하며, 우리가 자주 사용했던 one-hot encoding의 결과 vector가 바로 이 sparse vector라고 할 수 있다. * sparse vector는 대부분이 0으로 이뤄 있기 때문에 공간적인 낭비가 심하다. 예를 들어 corpus에 단어가 10,000개가 있다고 가정해보자. 단어 벡.. 2021. 12. 27.

티스토리툴바