李宏毅2022深度学习与机器学习笔记（一）

目录

课程链接：不会还有人没听【2022】最新 李宏毅大佬的深度学习与机器学习吧？？？_哔哩哔哩_bilibili

机器学习

深度学习

反向传播

预测问题

课程链接：不会还有人没听【2022】最新 李宏毅大佬的深度学习与机器学习吧？？？_哔哩哔哩_bilibili

机器学习

梯度下降：

1.首先随机选取w0

2.计算LOSS函数对w=w0的偏导数

3.迭代更新w的数值，直到偏导数等于0 或者 达到初始设置一个迭代的次数

可能存在local minima的问题

不用担心不会算微分，一行代码就帮你算好了

梯度的方向指向函数增长最快的方向，梯度是一个向量，其分量是函数对每个独立变量的偏导数。在多维空间中，某一点处的梯度向量是垂直于该点的切平面的。

机器学习的三个步骤：

1.写出一个带有未知参数的函数

2.定义损失函数loss

3.参数优化，找到使得损失函数取最小值的未知参数

线性模型：

线性模型有一些限制，需要更加复杂的函数

分段函数：

红色的线=常数项+一系列蓝色的线的和

分段函数之外的，曲线：

可以使用分段函数来逼近曲线，分段函数又可以使用一系列蓝色的线表示，所以曲线可以使用许多蓝色的线来逼近

怎么表示蓝色的线（hard sigmoid），可以使用sigmoid函数，使用sigmoid函数只是一种方法，也可以使用其他的方法来逼近曲线：

改变w，改变坡度；改变b，左右移动；改变c，改变高度

可以用来制造不同的sigmoid函数，然后可以用来逼近不同的分段函数，然后就可以用来逼近不同的曲线

如下图，分段函数可以使用多个sigmoid函数来逼近：

如果再使用更多的feature