Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
Download as PPTX, PDF•2 likes•887 views
本研習涵蓋了卷積神經網路(CNN)的基本原理及其生物神經元模型，並介紹了神經網路訓練及經典模型如Lenet-5、AlexNet等。還探討了CNN在分類、物體識別、自駕車等實際應用中的重要性。文中提供了多個技術細節和實作示例，供學員深入理解CNN的運作。
![基本原則 (General principle)
局部連接(locally connected)
[區域感受野]
權重共享(weight sharing)
[共用學習參數]](https://image.slidesharecdn.com/cnnintro-jasontsai2019-191112170626/85/Convolutional-Neural-Networks-CNN-21-320.jpg)
![卷積層 (Convolutional layer)
Depth (D): filter (或稱 kernel) 數目
Stride (s): 每一次 kernel 移動的間隔
Zero padding (p): 每一輸入邊緣填0的寬度
若以 i 表示輸入寬度大小，k 表示 kernel
寬度大小， 卷積運算後 feature map 的寬
度大小 (o) 公式為：
o = D 個 [(i - k + 2p) / s] + 1
以輸入為28x28，5x5卷積核，stride為1，padding為2為
例，輸出大小仍為 28x28 feature map。](https://image.slidesharecdn.com/cnnintro-jasontsai2019-191112170626/85/Convolutional-Neural-Networks-CNN-26-320.jpg)
Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
- 1. Jason Tsai (蔡志順) 2019.11.19 台北市 3A中心 教師研習 Convolutional Neural Networks (CNN) 卷積神經網路的前世今生 *Picture adopted from https://bit.ly/36yLPJL
- 2. Copyright Notice: All figures in this presentation are taken from miscellaneous sources and their copyrights belong to the original authors. This presentation itself adopts Creative Commons license.
- 3. 大綱 (Outlines) • 生物神經元及其模型 • 視覺的研究發現和啟發 • 卷積神經網路原理 • 如何訓練神經網路 • 經典卷積神經網路模型 • 卷積神經網路應用實例
- 4. 生物神經元及其模型
- 8. 海柏學習法則 (Hebb’s learning rule) 突觸前神經元向突觸後神經元持續重複的刺激，使得神 經元之間的突觸強度增加。
- 9. 第一代人工神經元模型
- 10. 第二代人工神經元模型
- 11. 第三代人工神經元模型 Spiking Neural Networks (脈衝神經網 路)
- 12. 視覺的研究發現和啟發
- 13. 視覺皮質傳導路徑 空間位置 (where pathway) 物體識別 (what pathway)
- 14. 皮質柱 (cortical column) 感受野 (receptive field)
- 15. Simple 和 Complex 細胞 Hubel & Wiesel (1962)
- 16. 階層稀疏分散表徵 (Hierarchical Sparse Distributed Representations)
- 18. 卷積神經網路原理
- 21. 基本原則 (General principle) 局部連接(locally connected) [區域感受野] 權重共享(weight sharing) [共用學習參數]
- 24. 階層特徵 (Hierarchy of features)
- 25. 卷積 (Convolution) 特稱圖(feature map) 輸入(此處為5x5) 此處卷積核(convolution filter)大小為3x3
- 26. 卷積層 (Convolutional layer) Depth (D): filter (或稱 kernel) 數目 Stride (s): 每一次 kernel 移動的間隔 Zero padding (p): 每一輸入邊緣填0的寬度 若以 i 表示輸入寬度大小，k 表示 kernel 寬度大小， 卷積運算後 feature map 的寬 度大小 (o) 公式為： o = D 個 [(i - k + 2p) / s] + 1 以輸入為28x28，5x5卷積核，stride為1，padding為2為 例，輸出大小仍為 28x28 feature map。
- 27. 卷積運算
- 30. 池化層 (Pooling layer) 平均池化 Average pooling 最大池化 Maximal pooling
- 31. 區域感受野 (Local receptive field) 稀疏連結 (Sparse connectivity) 全連接網路 Fully connection networks 卷積神經網路 Convolutional neural networks (輸入)
- 32. 權重共享 (Weight sharing) 此處 w1=w4=w7, w2=w5=w8, w3=w6=w9 具有 translational invariance 的特性
- 33. 反卷積網路
- 34. 反卷積 (Transpose convolution / Deconvolution) stride (步長) = 1 (p’ = k – p – 1) 公式: o’ = ( i’ – 1) + k – 2p stride (步長) = 2 (dilation=s) 公式: o’ = s (i’ – 1) + k - 2p
- 35. 上池化 (Unpooling)
- 36. 上採樣 (Unsampling)
- 38. 擴張卷積 (Dilated/Atrous convolution) Dilation = 2 Kernel = 3x3 Stride = 1
- 40. 典型卷積與可變形卷積
- 42. 如何訓練神經網路
- 43. 損失函數 (Loss function) / 目標函數 (Objective function) P(x)為目標機率，Q(x)為 實際機率。 最小化損失函數 L θ* = arg min L(θ) Mean square error (最小均方差) Cross entropy (交叉熵) Video tutorial: https://youtu.be/ErfnhcEV1O8
- 44. 隨機梯度下降 (Stochastic gradient descent, SGD)
- 46. 梯度下降圖例
- 48. 經典卷積神經網路模型
- 49. LeNet-5 (1998) Paper: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf 在 MNIST 手寫數字資料集中圖片大小為 28x28，實作 上常常左右邊緣各補 (padding) 二個 pixels 變成 32x32。 此模型的卷積核 (convolution kernel) 大小為 5x5
- 50. 使用 PyTorch 實現 LeNet-5 模型 import torch.nn as nn Import torch.nn.functional as F class LeNet5(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5) self.conv2 = nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5) self.mxpol = nn.MaxPool2d(kernel_size=2, stride=2) self.fc1 = nn.Linear(16*5*5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = F.relu(self.conv1(x)) x = self.mxpol(x) x = F.relu(self.conv2(x)) x = self.mxpol(x) x = x.view(x.size(0), -1) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) return self.fc3(x) net = LeNet5() 此處激活函數改用現在普遍被 採用的 ReLU
- 54. Residual block: y = F(x)+x Paper: https://arxiv.org/abs/1512.03385 Deep residual networks ResNet (2015)
- 55. ResNet-34
- 57. 生成對抗網路 GAN (2014) (Generative adversarial networks) Video tutorial: https://youtu.be/dCKbRCUyop8
- 58. 純卷積的侷限
- 59. Capsule networks (2017) Paper: https://papers.nips.cc/paper/6975-dynamic-routing-between-capsules
- 60. 卷積神經網路應用實例
- 62. 瑕疵／病徵檢測 (Defect / Symptom inspection )
- 66. 自駕車圖像分割應用
- 67. 腫瘤圖像分割應用
- 68. 姿態估算 (Skeleton / pose estimation)
- 70. 漫畫風
- 71. GAN 生成的擬真照片
- 73. 照片修整 黑白→彩色
- 75. 商品展示
- 78. 人臉辨識典型範疇
- 79. 估計數量 (Count / Estimate)
- 80. 農產品辨識 / 估量 / 分級
- 82. 推薦書單 科普 進階 入門 高階
- 83. Q & A