전체 글101 Entropy, KL Divergence, Cross Entropy 한방정리 https://www.youtube.com/watch?v=Dc0PQlNQhGY 너무 훌륭한 정리 영상을 유튜브에서 보고 참고해서 작성합니다. 더 자세한 강의는 해당 유튜브 링크를 참조해주세요! Entropy의 정의 * Entropy는 정보이론에서 사용되는 용어로 '놀라움의 정도'로 표현 가능하다. * 해가 뜨는 경우를 생각해보자. * 해가 뜨는 경우 = {'동쪽에서 뜬다', '서쪽에서 뜬다'} * 당연히 서쪽에서 뜰 확률은 매우매우매우매우 적을 것이다. * 만약 해가 서쪽에서 떴다는 관측이 주어진다면 이는 '놀라움의 정도'가 매우 크기 때문에 정보량이 높다고 볼 수 있다. * 예시에서 살펴볼 수 있듯이 '놀라움의 정도'는 발생확률의 크기와 반비례한다. * ' 발생확률이 적다 = 놀라움의 정도가 크다 = .. 2022. 10. 30. Chapter 1. Vector 1.2 Inner Product norm * norm은 벡터의 길이를 나타낼 때 사용된다. * 벡터의 norm은 원점에서부터 점 $P(x_1, x_2, ... , x_n)$ 까지의 거리를 의미한다. * norm을 표기할 때는 보통 제곱을 생략한다. $||x||^2$와 같이 쓰지 않고 $||x||$와 같이 많이 쓴다. * 두 벡터간의 거리도 norm으로 표현 가능하다. Inner Product(Dot Product) 내적의 정의 * 내적은 $$ 혹은 $y^T x$와 같이 나타낼 수도 있다. 내적의 성질 * 실수의 사칙연산에서 사용하던 성질과 크게 다르지 않다. Cauchy-Schwarz inequality * $\mathbb R^n$차원의 벡터 x, y에 대해 다음이 성립한다. * 두 벡터 x, y의 내적.. 2022. 9. 29. 확률(Probability) 기본개념 1. 확률실험 * 예측되는 모든 경우의 수를 알고 있고, * 시행의 결과를 예측 불가능할 때 * 이를 확률실험이라고 한다. 2. 표본공간 * 발생가능한 모든 결과들을 모아놓은 집합 3. 사건 * 표본공간 내에서 발생 가능한 사건들 중 관심 대상이 되는 부분집합 4. 확률 * 표본공간 내에서 특정 사건이 발생할 가능성이 얼마나 내는지를 [0,1] 의 값으로 나타낸 측도. * 표본공간과 사건이 전제되어야 함. 5. 집합 연산 * 표본공간과 사건은 집합으로 정의된다. * 따라서 집합의 연산 법칙을 알아야 하는데, 이는 아래와 같다. 확률의 이해 1. 고전적 확률 1) 고전적 확률의 가정 * 고전적 확률의 가정 - 등확률 : 각 사건이 일어날 확률은 동일하다. * 때문에 사건의 발생 가능성은 다음과 같.. 2022. 9. 17. 기술통계 수치를 이용한 자료정리 표본평균 * 표본평균은 표본의 무게중심과 같다. * 위와 같을 때 * 즉, 표본평균을 기준으로 했을 때 편차의 합은 0이 된다. * 하지만 평균은 outlier에 robust하지 않다. * 이럴 때는 중앙값을 사용한다. 표본중앙값 * 표본들을 오름차순으로 정렬해서 order statistics를 생성했다고 가정했을 때 중앙에 있는 값이다. * 특성상 평균과같이 자료의 정보를 다 활용하게 되는 건 아니다. 표본분산 * 자료가 퍼져있는 정도를 측정할 때 사용. * 특정 표본 a를 기준으로 자료들이 얼만큼 퍼져있는지를 측정하고 싶을 때 편차제곱합을 사용한다고 해보자. * 이 때 특정 표본 a는 중심위치가 되는(편차제곱합이 가장 작은) 평균이 적절하다. * 1/(n-1)로 나눠주는 이유는.. 2022. 8. 26. 이전 1 2 3 4 5 ··· 26 다음
