Le net5 study_20180520
1 like•133 views
文档介绍了神经网络和卷积神经网络的基础与发展，包括基本概念如感知器、前向和反向传播、以及常用的激活函数和代价函数。同时，探讨了神经网络的结构优化及其在图像识别中的应用，通过示例说明参数的计算与网络架构设计。最后，文档总结了在模型训练中遇到的问题及其解决方案，从而提高了学习速度和模型稳定性。
Le net5 study_20180520
- 2. Mora Chen Hello • Mora Chen(陳穗碧) -PyTroch Taichung”潛水”社長 – 逢甲大學地理資訊系統研究中心 研究助理教授/資料分析師 – 政府專案與研究案 – 專長:統計資料分析-影像辨識 – 經歷: • 工研院 研究員 • 交大電機與控制工程系 • 交大統計研究所博士
- 6. Mora Chen 模擬神經元 輸入層 輸出層 b 1 下雨 晴天 1.感知層(Perceptron) -1957 Rosenblatt 線性 y ) 邏輯
- 7. Mora Chen ) feedforward network f : Activation function Multi-Layer Perception Neural Network(MLPNN) 輸入層 隱藏層 輸出層 b 1
- 8. Mora Chen ) f :sigmoid function =Logistic function 活化函數 Activation function Change activation function 輸入層 隱藏層 輸出層 b 1 下雨 晴天 Step function 非線 性 機率 f ( )
- 9. Mora Chen 常用的Activation function sigmoid function Activation function:可微分
- 12. Mora Chen 常用的Activation function Softmax 應用在多類別 Sigmoid在雙類別
- 14. Mora Chen 16 16 10 圖片來源:https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=1 手寫辨識資料NN
- 16. Mora Chen 多少個參數? 16 16 10 參數parameters: 13,002 圖片來源:https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=1
- 17. Mora Chen cross entropy = = = 常用的cost function Absolute error=
- 18. Mora Chen 訓練資料 模型 輸出 正確 Initial value Forward Propagation Cost function Model 1 Model 2 Model 3 … 挑選 最好model 平均而言cost function 最小 flowchart • 找出w ,b，使得cost function=0 • 找出w ,b ，使得 cost fucntion最小 (Gradient descent:找局部的最小值) ) 以整體cost function 的角度來挑選參數 Derivative: scalar-valued Gradient: a multi-variable generalization of the derivative
- 19. Mora Chen Gradient Descent-forward pass 推導 https://www.youtube.com/watch?v=ibJpTrp5mcE NN 有超多參數 Forward pass
- 20. Mora Chen 訓練資料 模型 輸出 正確 Initial value Forward Propagation Cost function Backpropagation 找出w ，使得cost function=0 找出w，使得 cost fucntion最小 ) Backpropagation
- 21. Mora Chen Backpropagation 以整體cost function 回饋每一個Neuron的誤差，來更新參數(更有效率) 1986年，Rumelhar和Hinton等人應用”反向傳播算法”創造出很好的 應用案例
- 23. Mora Chen Backpropagation 推導-手寫 backward pass 前向傳播 (Forward-Propagation) 反向傳播 (Backward-Propagation) 代價函數(Cost Function) 第一次傳遞 重新調整神經元權重 訓練的目的，就是不斷縮小cost
- 24. Mora Chen
- 25. Mora Chen NNLeNet-5: 2D(CNN) Convolutional Neural Network: 積捲類神經 主要透過影像辨識的特性，設計出不同NN的架構，讓模型更簡單 Full connection NNCNN v v Flatten v
- 26. Mora Chen NNLeNet-5: 2D(CNN) Convolutional Neural Network: 積捲類神經 v 特性1: 特徵在局部，neuron不需要看整張照片 設計出Filter的概念 filter
- 27. Mora Chen NNLeNet-5: 2D(CNN) Convolutional Neural Network: 積捲類神經 v 特性2: 相同的特徵，出現在照片不同的位置 Filter 是可以移動的:補抓不同位置的相同特 徵
- 28. Mora Chen NNLeNet-5: 2D(CNN) Convolutional Neural Network: 積捲類神經 特性3: 局部pixels取樣(Subsampling)，不影響特徵的辨識 把參數的數量變小 v
- 31. Mora Chen Convolution Neural Network(NN) 和fully connected NN的關係 Filter裡面的值就是weights Feature map每一個值就是 下一個neuron 的input 資料來源:https://www.youtube.com/watch?v=FrKWiRv254g&t=3671s Shared weightsless parameters
- 32. Mora Chen How many parameters? 個 Parameters: 5*5*6+6(biases)=156 v v (kernel size)
- 33. Mora Chen How many parameters? C3 個 Parameters: (5x5x3+1)x6+(5x5x4+1)x9 +(5x5x6+1)=1516 (kernel size) S2的 6 feature map 沒有經過所有的 16 filter生成，透故下面的表 主要原因: a控制參數個數 b打破對稱性，希望學到不一樣的特徵 因為不是對稱，所以參數的weights沒有共用 的 的 第一個 map只有 (0,4,5,6,9,1 0,11,12,13, 14,15)
- 34. Mora Chen How many parameters? v v (kernel size)
- 35. Mora Chen How many parameters? v v (kernel size)
- 36. Mora Chen How many parameters? (kernel size) C5 120x(5x5x16+1)=48120 F6 (120+1)x84 激活函數為Atanh(Sx)， A,S超參數 84 代表7*12的照 片flatten(白 值:-1,黑值=1) 主要是處理連 續型ASCII 數 字，不是單獨 數字? Why?
- 37. Mora Chen How many parameters? output 層: Euclidean Radial Basis Function : the unnormalized negative log-likelihood of a Gaussian distribution in F6 (why?) , Force the F6 operate in their maximally non- linear range.
- 39. Mora Chen Paper還有很多細節，仍需努力 • Saturation of the sigmoids must be avoided because it is known to lead slow convergence and ill-conditioning of the loss function. • Saturation of the sigmoids斜率沒有變化的 區域
- 40. Mora Chen 結論 遇到甚麼問 題 用甚麼方法 解決 有甚麼好處 怎麼做 Perceptron 邏輯結果0,1 使用範圍小 更動activation function 邏輯 機率 線性 非線性 描述的情況更多 fully connected NN 參數太多 了解影像特性來 變更NN架構 參數變少，學習速 度較快穩定 …….後續大家的努力 Step function sigmoid function Convolution subsampling Perceptron NN Fully connected NN Convolution NN