逻辑斯蒂回归（logistic regression）的梯度下降算法

最新推荐文章于 2023-02-08 14:11:09 发布

Jerry_Chang31

最新推荐文章于 2023-02-08 14:11:09 发布

阅读量3.1k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：机器学习算法文章标签：逻辑回归机器学习算法

本文链接：https://blog.csdn.net/Jerry_Chang31/article/details/103759745

本文探讨了逻辑回归在分类问题中的应用，解释了它与多重线性回归的关系，并通过sigmoid函数将其转化为概率输出。进一步，文章详细介绍了logistic回归模型，极大似然估计以及梯度下降法在求解模型参数中的应用，最终展示了如何实施随机梯度下降更新规则。

值得注意的是，逻辑回归（logistic regression）解决的是有监督的分类问题，而非回归问题。

分类和回归的区别

分类问题和回归问题的区别在于输出：分类问题的输出是离散型变量，如判断一个人是否得病，只有两种结果：得病或者不得病；而回归问题的输出为连续型变量，如预测一个人五年后的工资，它就可能是一个实数区间内的任意值。

logistic和多重线性回归

实际上，logistic回归和多重线性回归除输出的不同外基本类似，这两种回归可以归于同一个家族，即广义线性模型（generalized linear model）。因此这两个回归的模型形式基本差不多，都可以简单表示为: $y=ΘTXy=\Theta^TX$ ，只是，logistic回归需要借助sigmoid激活函数，将回归问题转化为分类问题。

sigmoid函数

sigmoid激活函数： $g(z)=1(1+e(−z))g(z)=\frac{1} {(1+e^{(-z)})}$
sigmoid激活函数曲线如下：
在这里插入图片描述
由图可以看出，sigmoid函数中z的取值范围为任意实数，g(z)的输出范围为0到1，因此可以将输出看做一个概率值，将回归问题转化为分类问题。
sigmoid函数的一阶导数：
$g′(z)=1(1+e−z)2∗(e−z)=11+e−z∗(e−z1+e−z)=11+e−z∗(1−11+e−z)=g(z)(1−g(z))g'(z)=\frac{1} {(1+e^{-z})^2}*(e^{-z})=\frac{1}{1+e^{-z}}*(\frac{e^{-z}}{1+e^{-z}})=\frac{1}{1+e^{-z}}*(1-\frac{1}{1+e^{-z}})=g(z)(1-g(z))$

logistic回归模型

模型： $hθ(x)=g(Θx)=11+e−ΘTxh_\theta(x)=g(\Theta x)=\frac{1}{1+e^{-\Theta^{T}x}}$
因此：
$P(y=1∣x,Θ)=hθ(x)P(y=0∣x,Θ)=1−hθ(x)\left\{\begin{matrix} P(y=1|x,\Theta )=h_\theta (x) \\P(y=0|x,\Theta ) =1-h_\theta (x) \end{matrix}\right.$