Deep Learning/Deep Learning 개념정리2 Entropy, KL Divergence, Cross Entropy 한방정리 https://www.youtube.com/watch?v=Dc0PQlNQhGY 너무 훌륭한 정리 영상을 유튜브에서 보고 참고해서 작성합니다. 더 자세한 강의는 해당 유튜브 링크를 참조해주세요! Entropy의 정의 * Entropy는 정보이론에서 사용되는 용어로 '놀라움의 정도'로 표현 가능하다. * 해가 뜨는 경우를 생각해보자. * 해가 뜨는 경우 = {'동쪽에서 뜬다', '서쪽에서 뜬다'} * 당연히 서쪽에서 뜰 확률은 매우매우매우매우 적을 것이다. * 만약 해가 서쪽에서 떴다는 관측이 주어진다면 이는 '놀라움의 정도'가 매우 크기 때문에 정보량이 높다고 볼 수 있다. * 예시에서 살펴볼 수 있듯이 '놀라움의 정도'는 발생확률의 크기와 반비례한다. * ' 발생확률이 적다 = 놀라움의 정도가 크다 = .. 2022. 10. 30. Backpropagation 본 포스팅은 유튜버 혁펜하인님의 Backpropagation 강의를 정리한 포스팅입니다. 더 정확한 설명을 들으실 분들은 아래 동영상을 참고해주세요. 먼저 위 그림과 같은 hidden layer가 2개인 DNN model이 있다고 가정해봅시다. activation function은 특정한 함수를 상정하지 않고 그냥 $g(x)$ 라고 가정합니다. 각 layer별 가중치는 $w^l_{i,j} $ 라고 가정합니다. $l$은 layer의 번호를 나타내고 왼쪽부터 layer 0, 1, 2, 3 입니다. $i$는 해당 layer의 몇 번째 뉴런인지를 나타냅니다. $j$는 해당 가중치가 다음 layer의 몇 번째 뉴런과 연결되는지를 나타냅니다. 이전 layer의 output에 가중치가 곱해진 결과를 $S^l-1$라고.. 2021. 9. 25. 이전 1 다음
