역전파1 Backpropagation 본 포스팅은 유튜버 혁펜하인님의 Backpropagation 강의를 정리한 포스팅입니다. 더 정확한 설명을 들으실 분들은 아래 동영상을 참고해주세요. 먼저 위 그림과 같은 hidden layer가 2개인 DNN model이 있다고 가정해봅시다. activation function은 특정한 함수를 상정하지 않고 그냥 $g(x)$ 라고 가정합니다. 각 layer별 가중치는 $w^l_{i,j} $ 라고 가정합니다. $l$은 layer의 번호를 나타내고 왼쪽부터 layer 0, 1, 2, 3 입니다. $i$는 해당 layer의 몇 번째 뉴런인지를 나타냅니다. $j$는 해당 가중치가 다음 layer의 몇 번째 뉴런과 연결되는지를 나타냅니다. 이전 layer의 output에 가중치가 곱해진 결과를 $S^l-1$라고.. 2021. 9. 25. 이전 1 다음
