[CS224N] Lecture 3 - Backprop and Neural Networks / 역전파, 순전파, 신경망 분류기
학습목표(1) 신경망을 훈련시키기 위해 어떻게 수동으로 gradient를 계산할까(2) back propagation(역전파 알고리즘)~미리보기~Back propagation: 계산 그래프(computation graph)를 따라 chain rule을 재귀적으로적용하는 과정 중 하나. Forward Pass에서 저장한 중간 값을 사용하여, ouput Layer부터 input Layer 방향으로 기울기를 계산 이 기울기는 가중치 업데이트에 사용 Back propagation 에서의 기울기 계산은 [downstream gradient] = [upstream gradient] x [local gradient] downstream gradient: 현재 노드의 기울기 upstream gradient: 이전(..
2024. 8. 27.