20210329wt,简单线性函数利用sgd求解w和b

最新推荐文章于 2024-07-11 21:46:24 发布

龟速爬行

最新推荐文章于 2024-07-11 21:46:24 发布

阅读量369

点赞数

CC 4.0 BY-SA版权

文章标签： pytorch

本文链接：https://blog.csdn.net/nvlidewoniu666/article/details/115313871

该博客介绍了一个简单的线性回归模型，通过梯度下降算法进行参数优化。作者首先定义了误差计算函数，然后实现了梯度下降的步进更新规则，并在一个循环中多次迭代以找到最佳的权重和截距。最后，博客展示了如何运行这个过程并输出结果，包括最终的误差值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归+梯度下降

import numpy
#2021/3/29/wt， 简单的线性函数利用梯度下降来求解w和b


# y = wx + b, 计算当前的权重时的误差
def compute_error_for_line_given_points(b, w, points):
    totalError = 0
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        totalError += (y - (w*x + b))**2
    return totalError / float(len(points))


# 迭代计算每经过一个点的w和b的更新
def step_gradient(b_current, w_current, points, learningRate):
    b_gradient = 0
    w_gradient = 0
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        b_gradient += -(2/N)*(y - ((w_current*x)+b_current))
        w_gradient += -(2/N)*x*(y - ((w_current*x)+b_current))
    new_b = b_current - (learningRate*b_gradient)
    new_w = w_current - (learningRate*w_gradient)
    return [new_b, new_w]


# 多个epoch的迭代计算最终的w和b
def gradient_descent_runner(points, starting_b, starting_w, learningRate, num_iter):
    b = starting_b
    w = starting_w
    for i in range(num_iter):
        b, w = step_gradient(b, w, np.array(points), learningRate)
    return [b, w]


def run():
    points = np.genformtxt('data.csv', delimiter=',')
    learningRate = 0.0001
    initial_b = 0
    initial_w = 0
    num_iter = 100
    [b, w] = gradient_descent_runner(points, initial_b, initial_w, learningRate, num_iter)
    print('After {0} iteration b = {1}, m = {2}, error={3}'.format(num_iter, b, w,
                                                                   compute_error_for_line_given_points(b, w, points)))


if __name__ == '__main__':
    run()