Entropy1 Entropy, KL Divergence, Cross Entropy 한방정리 https://www.youtube.com/watch?v=Dc0PQlNQhGY 너무 훌륭한 정리 영상을 유튜브에서 보고 참고해서 작성합니다. 더 자세한 강의는 해당 유튜브 링크를 참조해주세요! Entropy의 정의 * Entropy는 정보이론에서 사용되는 용어로 '놀라움의 정도'로 표현 가능하다. * 해가 뜨는 경우를 생각해보자. * 해가 뜨는 경우 = {'동쪽에서 뜬다', '서쪽에서 뜬다'} * 당연히 서쪽에서 뜰 확률은 매우매우매우매우 적을 것이다. * 만약 해가 서쪽에서 떴다는 관측이 주어진다면 이는 '놀라움의 정도'가 매우 크기 때문에 정보량이 높다고 볼 수 있다. * 예시에서 살펴볼 수 있듯이 '놀라움의 정도'는 발생확률의 크기와 반비례한다. * ' 발생확률이 적다 = 놀라움의 정도가 크다 = .. 2022. 10. 30. 이전 1 다음
