Visual AI(시각 인공지능) Lecture 5 : Backpropagation
0 likes723 views
Visual AI(시각 인공지능) Lecture 5 : Backpropagation
- 1. Visual AI(시각인공지능) Lecture 5 : Backpropagation 1
- 2. Content Plain Backpropogation (BP) Gradient Descent for MLP BP with Momentum 2
- 4. Recall: Error Function Error function epsilon(w)는 못생김 매우 높은 차원 non-linear global minima는 도달 불가능할 수 있음 local minima는 bad or good 4
- 6. Backpropagation 1. Q개의 데이터셋이 존재함 2. Forward Pass 3. Error Computation : 출력 뉴런의 에러를 계산 4. compute Weight Changes : 출력 레이어부터 역순으로 가중치 업데이트 5. 네트워크의 모든 가중치 업데이트 6. 1~5를 global error function이 원하는 임계치에 도달할때까지 반복 6
- 8. Forward pass: Input Layer 8
- 9. Forward pass: Hidden Layer 9
- 10. Forward pass: Output Layer 10
- 11. Backward pass : Output Layer 11
- 12. Backward pass : Hidden Layer 12
- 17. Iteration 17
- 20. 20
- 23. Gradient Error Computation (1/2) 23
- 24. Gradient Error Computation (2/2) 24
- 28. Batch, Stochastic and Mini Batch Mode Training Stochastic (Pattern) mode: 단일 패턴이 존재 local error gradient 계산 네트워크 weight 변경 Batch mode: global error gradient를 전체 epoch에 대해 수집 최초 네트워크 N0의 가중치를 한번에 업데이트 28
- 29. Batch, Stochastic and Mini Batch Mode Training 29
- 30. Batch, Stochastic and Mini Batch Mode Training 30
- 31. Next Lecture MLP의 이론과 알고리즘을 배웠다. 그러나 MLP를 이용하에 실전 문제에 어떻게 이용할까? 이 tool을 최적화하는데 응용할수 있는 trick이 무엇일까? 31
- 32. Ref: Backpropagation Step by Step 링크 참고 32