线性回归之原理分析与实践

一、线性回归

1、环境：Pycharm2017.2，Win7，python3.6
2、方法：损失函数一般用均方误差来表示，对损失函数进行微分，可以得到梯度，使用梯度下降法不断迭代，可以将参数调整为最佳（前提条件是损失函数为凸函数，并且学习率比较合适）。使用公式： weight = weight - 梯度*学习率

3、目标函数：

4、损失函数：

5、梯度函数（即求偏导）：

求偏导方法：第一、求和符号对求偏导没有啥影响，不要受其干扰，第二、求导，复杂情况下，先整体再局部，复杂的函数往往是一个函数套在另一个函数
6、编程测试：

import numpy as np
import matplotlib.pyplot as plt
m = 25
learning_rate = 0.01
X0 = np.arange(0, m, 1).reshape(m, 1)    # m*1
X1 = np.ones(m).reshape(m, 1)            # m*1, 作为偏置项
X = np.hstack((X0, X1))                  # m*2  横向堆叠
y