深度学习基础
- 深度学习概念：深度学习是机器学习的一个分支，它基于一系列算法，试图通过使用多个处理层建立数据的高级抽象模型，这些处理层具有复杂的结构，或者由多个非线性转换组成。–维基百科
- 深度学习发展历史：
| 模型名称 | 提出者 | 年份 |
|---|---|---|
| Perception | Rosenblatt | 1958 |
| RNN | Grossberg | 1973 |
| CNN | Fukushima | 1979 |
| RBM | Hinton | 1999 |
| DBN | Hinton | 2006 |
| D-AE | Vincent | 2008 |
| AlexNet | Alex | 2012 |
| GoogLeNet | Szegedy | 2015 |
- 深度学习的应用：场景识别、视觉类型识别、目标检测、图像题注、语义分割、图像风格迁移、Deep Dream
- 深度学习平台：PyTorch TensorFlow Caffe MatConvNet Theano
- 不同平台的对比：
| 对比项 | Pytorch | Tensorflow |
|---|---|---|
| 实现方式 | 命令式编程 | 符号式编程 |
| 图的定义 | 动态定义 | 静态定义 |
| 运行效率 | 效率相对低 | 效率高 |
| 学习成本 | 低 | 相对高 |
- 深度学习基本理论
- 学习表示
- 深度学习的步骤：网络构建（一组函数） → \rightarrow →学习目标（定义每一函数的好坏） → \rightarrow →学习过程（选择最好的函数f）
- 网络构建
- 神经网络：神经元、权重、偏置、激活函数
- 计算：矩阵形式
- 学习目标：
- 训练数据
- 代价函数（最小），常用代价函数有suare loss Hinge loss Logistic loss Cross entropy loss等
- 总体代价
- 学习过程
- 梯度下降法，会面临局部极小值点
深度学习技巧
- 学习阶段：网络构建-学习目标-学习过程
- 测试阶段：训练评价、模型推断、推断评价
- 学习过程
- 学习率调整策略：后向传播 SGD Mini-Batch SGD 新的激活函数 自适应学习率 Momentum，半监督学习方法 非监督学习方法
- 前向传播： z l = W l x + b l a l = σ ( z l ) z l = W l a l − 1 + b l a l = σ ( z l ) z ^ { l } = W ^ { l } x + b ^ { l} a ^ { l} = \sigma ( z ^ { l } ) \\ z ^ { l } = W ^ { l } a ^ { l - 1 } + b ^ { l} a ^ { l } = \sigma ( z ^ { l } ) z
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
