티스토리

대소기의 블로구

검색하기

블로그 홈

대소기의 블로구

soki.tistory.com/m

딥러닝을 하는 블로구

구독자: 5

방명록 방문하기

주요 글 목록

XLNet : Generalized Autogregressive Pretraining for Lanuguage Understanding(NIPS 2019) Paper link : https://arxiv.org/abs/1906.08237 1. Introduction * NLP 분야에서 unsupervised learning은 대규모 데이터를 통한 pre-training 과정과 이어지는 fine-tuning 과정을 통해 많은 성과를 이뤄냈다. * 그 중에서도 AR(Auto Regressive) modeling과, AE(Auto Encoding) 은 가장 성공적인 pre-training objectives이다. AR model * AR model은 text corpus의 확률분포를 auto regressive model을 통해 계산한다. * 만약 text sequence가 $x = (x_1, ... , x_T)$로 주어졌다고 해보자. * AR model은 li.. 공감수 0 댓글수 0 2022. 5. 9.
Transformer-XL : Attentive Language Models Beyond a Fixed-Length Context(ACL 2019) 이전에 trasnformer를 정리해 놓은 글이 있으니, 읽기 전에 참고 바랍니다. https://soki.tistory.com/108?category=1077319 Attention Is All You Need, NIPS 2017 - Transformer 논문 리뷰 * Attention is all you need 논문을 개인적으로 정리해봤습니다. * 중요 내용만을 뽑아 기술했으므로 원문의 의도가 본의아니게 왜곡됐을 수도 있습니다. 만약 틀린 부분이 있다면 댓글로 알려주세요. soki.tistory.com https://soki.tistory.com/97?category=1065364 Transformer Intro * Transformer는 seq2seq의 encoder, decoder를 차용하되, .. 공감수 0 댓글수 0 2022. 5. 3.
Deep Contextualized Word Representation, NAACL 2018 (ELMO 논문 리뷰) ELMO 논문 : https://arxiv.org/pdf/1802.05365.pdf 1. Introduction Challenges * Pre-Trained 모델을 사용하여 고품질의 word representation을 얻는 것은 다음 두 가지 challenge 때문에 어려움. 1) 단어를 사용할 때의 복잡한 특성(syntax, semantics) 2) 언어적 맥락에 따라 다양한 단어들의 사용법 ELMo(Embeddings form Language Models) Representation 소개 * 본 논문에서는 위 challenge들을 극복하는 Deep Contextualized word representation을 소개함. 소개할 방법은 existing model들에 쉽게 적용 가능함. * 본 논문에서.. 공감수 0 댓글수 0 2022. 4. 29.
Attention Is All You Need, NIPS 2017 - Transformer 논문 리뷰 * Attention is all you need 논문을 개인적으로 정리해봤습니다. * 중요 내용만을 뽑아 기술했으므로 원문의 의도가 본의아니게 왜곡됐을 수도 있습니다. 만약 틀린 부분이 있다면 댓글로 알려주세요. 1. Introduction 기존의 연구 * RNN, LSTM, GRU 등은 language modeling, 기계번역 등에서 많은 성과를 이뤄냈다. * 하지만 이러한 Recurrent model은 time에 따라 hidden state를 생성하며 이 때 이전 timestep의 hidden state와 현재 timestep의 input을 활용하기 때문에 문제가 발생한다. 하지만 이러한 sequential한 모델은 큰 문제점이 있다. 이는 아래와 같다. 문제 1) 훈련 example들을 병렬화하.. 공감수 0 댓글수 0 2022. 4. 3.
GloVe : Global Vectors for Word Representation Introduction * 기존의 word vector를 학습하는 모델은 두 가지이다. 1) LSA 2) skip-gram * LSA는 통계학적 정보를 최대로 이용하지만, 단어 유추 task에서는 성능이 좋지 않음. * skip-gram은 단어 유추에서는 성능이 좋지만, 통계학적 정보를 활용하지 못한다. The GloVe Model * word occurence 통계에서 어떻게 의미가 생성되는지, 결과 벡터가 어떻게 단어의 뜻을 표현하는지는 알 수 없었다. 이를 해결하기 위해 GloVe가 만들어졌다. Notation * word-word co-occurrence matrix를 X라고 하자. * matrix $X \in \mathbb R^{V \times V}$ 이다. vocabulary의 크기만큼의 si.. 공감수 0 댓글수 0 2022. 2. 12.
Indexing by Latent Semantic Analysis(LSA) Introduction * 검색 기법의 근본적 문제 : 유저들은 conceptual content에 기초해 검색 but concept를 표현하는 단어가 많고 단어의 다의성 때문에 쿼리가 제대로 작동하지 않음 ex) conceptual content = naver일 때 naver를 검색하기 위해 'it회사', '초록창', '검색엔진' 등 을 사용할 수 있음. 여기서 '초록창'은 naver를 지칭하는 은어이지만, 실제로 초록색 창문을 의미 할 수도 있음. * 문제의 해결법 : data에 latent sematic structure가 잠재되어 있다고 가정하고 해당 structure를 찾아 indexing과 검색에 이용. latent semantic structure를 찾기 위해서 SVD(Singular Val.. 공감수 0 댓글수 0 2022. 2. 11.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.