본문 바로가기

Deep Learning71

12.2 넘파이처럼 텐서플로 사용하기 Tensorflow : tensor가 한 연산에서 다른 연산으로 흐르기 때문에 tensor + flow 가 되었다. Tensor : ndarray와 매우 비슷하고 기본적으로 다차원 배열을 다룬다. 스칼라 값을 가질 수도 있다. 12.2.1 텐서와 연산 텐서 생성 import tensorflow as tf tf.constant([[1,2,3], [4,5,6]]) #matrix # tf.constant()를 통해 tensor를 생성할 수 있다. 텐서는 ndarray와 같이 shape와 dtype을 가진다. 인덱스 참조 t=tf.constant([[1.,2.,3.],[4.,5.,6.]]) t.shape t[:, 1:] # 인덱스 참조 또한 가능하다. 텐서 연산 t=tf.constant([[1.,2.,3.],[.. 2021. 9. 29.
12.1 텐서플로 훑어보기 Tensorflow 가 제공하는 것 핵심 구조는 numpy와 비슷하지만 GPU를 지원한다는 점에서 다르다. (여러 장치와 서버에 대해) 분산 컴퓨팅을 지원한다. 코드 실행 전에 컴파일을 하는 전통 컴파일러와는 달리 Tensorflow는 JIT(Just In Time) 컴파일러를 포함한다. 계산그래프(Computation Graph)를 추출해 사용하지 않는 node를 가지치기 하고, 독립적인 연산을 자동 병렬 시행함으로서 계산 최적화를 시행한다. 이를 통해 속도는 올라가고 메모리 사용량은 줄어든다. 계산 그래프는 플랫폼에 중립적인 포맷으로 내보낼 수 있다. 때문에 리눅스에 있는 파이썬 환경에서 개발을 해서 안드로이드 기기의 자바에서 실행 하는것이 가능하다. 자동미분, 고성능 옵티마이저를 제공한다. Tens.. 2021. 9. 29.
Backpropagation 본 포스팅은 유튜버 혁펜하인님의 Backpropagation 강의를 정리한 포스팅입니다. 더 정확한 설명을 들으실 분들은 아래 동영상을 참고해주세요. 먼저 위 그림과 같은 hidden layer가 2개인 DNN model이 있다고 가정해봅시다. activation function은 특정한 함수를 상정하지 않고 그냥 $g(x)$ 라고 가정합니다. 각 layer별 가중치는 $w^l_{i,j} $ 라고 가정합니다. $l$은 layer의 번호를 나타내고 왼쪽부터 layer 0, 1, 2, 3 입니다. $i$는 해당 layer의 몇 번째 뉴런인지를 나타냅니다. $j$는 해당 가중치가 다음 layer의 몇 번째 뉴런과 연결되는지를 나타냅니다. 이전 layer의 output에 가중치가 곱해진 결과를 $S^l-1$라고.. 2021. 9. 25.
10.4 연습문제 2번. 초창기 인공 뉴런을 사용해 A xor B 를 계산하는 인공 신경망을 그려보세요. 10.1 에서 말했다시피 인공뉴런 1개로는 xor문제를 풀 수 없다. 하지만 위와 같이 세 개의 뉴런을 통해서는 xor문제를 풀 수 있다. 하나의 뉴런은 or 연산을 시행하고, 다른 하나의 뉴런은 NAND(Not and) 연산을 수행한다. output 뉴런은 AND연산을 시행한다. 이를 표로 나타내면 다음과 같다. x1 x2 OR NAND AND 0 0 0 1 0 1 0 1 1 1 0 1 1 1 1 1 1 1 0 0 3번. 고전적인 퍼셉트론(즉, 퍼셉트론 훈련 알고리즘으로 훈련된 단일 TLU)보다 로지스틱 회귀 분류기를 일반적으로 선호하는 이유는? 퍼셉트론을 로지스틱 회귀 분류기와 동등하게 만들기 위한 방법은? 분류문.. 2021. 9. 24.

티스토리툴바