逻辑回归原理理解及公式推导

最新推荐文章于 2025-07-21 04:53:48 发布
最新推荐文章于 2025-07-21 04:53:48 发布
阅读量4k 收藏 28
点赞数 21
CC 4.0 BY-SA版权
分类专栏： 算法原理 文章标签： python 逻辑回归 数据挖掘 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44077242/article/details/118671865
本文详细介绍了逻辑回归的原理，包括其作为分类模型的角色，以及为何适合处理离散特征。文章深入探讨了逻辑回归的分布、损失函数的推导，并解释了为何不用平方误差损失函数，而是选择交叉熵损失函数。此外，还阐述了离散化特征对逻辑回归模型的益处。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、算法介绍

（1）逻辑回归（Logistics Regression）是一种分类模型，常用于二分类问题。
（2）我们可以用一句话来表示逻辑回归：逻辑回归是假设数据服从伯努利分布，基于最大似然估计推导的方法，通过似然函数的对数变化，运用梯度下降的方法求解参数，来达到将数据二分类的目的。

1.1 逻辑回归分布

逻辑回归的分布是一种连续型的概率分布，它的分布函数和密度函数分别是：
在这里插入图片描述
在这里插入图片描述

1.2 逻辑回归

以处理二分类的问题为例，我们假设数据集中存在一条直线，这条直线对于数据集来说可以实现线性可分。
如图：

在这里插入图片描述
该直线（划分边界）可以表示为：
在这里插入图片描述
此时通过某个样本点对于划分边界左边公式取值与0的大小比较，来判定该样本属于哪一类别；而逻辑回归(Logistic)还需要加一层，它要找到分类概率P(Y=1)与输入向量X的直接关系，然后通过比较概率值来判别类别。

如何用连续的数值去预测离散标签？
由于<

最低0.47元/天 解锁文章

200万优质内容无限畅学
matlab 逻辑回归实现,逻辑回归原理介绍及Matlab实现
weixin_36034659的博客
04-07 6157
一、逻辑回归基本概念1. 什么是逻辑回归逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题(即输出只有两种，分别代表两个类别)回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件...
逻辑回归公式推导-详细版
woai110120130的专栏
10-24 1788
逻辑回归的损失函数（或称为代价函数）是用于衡量模型预测结果和真实结果之间差距的一个函数。它通常采用对数似然损失函数（Log-Loss），也称为交叉熵损失函数（Cross-Entropy Loss）。我们通过最大化似然函数来推导它，并将其转化为最小化损失函数的形式。
机器学习逻辑回归过程推导
02-20
机器学习中逻辑回归推导过程，很详细，简单易懂
逻辑回归公式推导
qq_32323239的博客
08-18 1838
1、逻辑回归(Logic Regression)虽然名字上说是回归其实是处理分类任务的，该模型的输出变量范围始终在0和1之间。 逻辑回归模型的假设是： 其中： 代表特征向量 代表逻辑函数（logistic function)是一个常用的逻辑函数为S形函数（Sigmoid function），公式为： 。 该函数的图像为： 对模型的理解： 。 ...
一文读懂什么是逻辑回归
最新发布
weixin_41488485的博客
07-21 72
逻辑回归（Logistic Regression）是一种经典的分类算法，尽管名字中带有 “回归”，但它本质上用于解决二分类问题（也可扩展到多分类）。逻辑回归的本质是 “在线性回归的基础上，通过一个映射函数将输出转化为概率（从而实现对类别概率的预测）”，这个映射函数就是Sigmoid函数。逻辑回归是机器学习中最基础的分类算法之一，核心是通过 Sigmoid 函数将线性输出转化为概率，结合交叉熵损失和梯度下降求解参数。
逻辑回归及其公式推导
allan2222的博客
05-12 3129
一、什么是逻辑回归 逻辑回归是一种用于解决二分类问题的机器学习方法，简单来说就是用来表示某件事发生的可能性。 比如：你患有糖尿病的可能性； 你点击某个广告的可能性。 二、逻辑回归vs线性回归 类型 变量 是否符合线性关系 应用 逻辑回归 分类 连续 符合 判断习惯是否为好瓜 线性回归 回归 离散 可以不符合 银行预测某人的信用分数 线性回归简单来说是描述了最佳一条拟合输入变量和输出变量的之...
Logistic回归计算过程的推导
weixin_34061042的博客
09-24 2207
https://blog.csdn.net/ligang_csdn/article/details/53838743 https://blog.csdn.net/weixin_30014549/article/details/52850870 https://www.cnblogs.com/HolyShine/p/6403116.html   2. 基本原理 Logistic Regre...
逻辑回归公式详细推导（LR推导）
土豆同学的博客
02-25 2418
逻辑回归公式详细推导（LR推导） 0 逻辑回归介绍及准备知识 逻辑回归本质上是线性回归，只是在特征映射到结果的过程中加入了σ\sigmaσ(z)函数，其中σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}σ(z)=1+e−z1​. 逻辑回归线性边界的形式如下：f(x)=θ0+θ1x1+...+θnxn=∑i=1nθixi=θTXf(x) = \theta_0 + \theta_1x_1 + ...+ \theta_nx_n= \sum_{i=1}^n{\theta_ix_i}=\
线性回归，逻辑回归与神经网络原理推导
11-19
### 线性回归、逻辑回归与神经网络原理推导 #### 一、多元线性回归（Linear Regression） **定义及求解方法的推导** 多元线性回归是一种统计学方法，用来研究一个因变量（通常称为响应变量或依赖变量）与一个或多...
逻辑回归模型原理公式推导
06-08
逻辑回归模型的原理公式推导如下： 假设我们有一个训练集$D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$，其中$x_i=(x_{i1},x_{i2},...,x_{id})^T$是第$i$个样本的$d$维特征向量，$y_i\in\{0,1\}$是第$i$个样本的标记...
逻辑回归——公式推导详情
yyoc97的专栏
05-28 5423
记录Logistic的一次详尽公式推导及使用 简介 文章针对像我一样数学弱又想学好机器的朋友们！手写推导过程尽可能的详尽。后面还有案例实现，希望也能帮助大家理解。 Logistic 回归模型和线性回归一样，都是 y = wx + b ，其中 x 可以是一个多维特征，唯一不同的地方在于Logistic 回归会对 y 作用一个Logistic 函数，将其变为一种概率结果，Logistic 函数...
逻辑回归（LR）公式推导及代码实现
aift的专栏
04-07 2383
文章目录构造hypothesis构造损失函数通过“梯度下降法”求参数 θ\thetaθ 的更新式代码实现 逻辑回归是用来解决分类问题用的，与线性回归不同的是，逻辑回归输出的不是具体的值，而是一个概率。除去了sigmoid函数的逻辑归回和线性回归几乎是一样的。 构造hypothesis 逻辑回归的HHH可以看做是一个线性回归方程的结果经过一个sigmoid函数得到的结果（为正样本的概率），逻辑回归的...
逻辑回归详细推导（保证能看懂）
WGS.
11-20 2980
文章目录基本认识逻辑回归模型逻辑回归模型的损失函数：交叉熵损失损失函数最小值求解推导迭代公式的向量化 基本认识 在评分卡项目中，如果需要构建一个标准的评分卡模型，就只能采用逻辑回归模型，因为其它支持概率输出的分类模型只能给出样本的总分值，没有办法给出每个变量的分值，以及每个变量不同取值的分值，也可以理解成不能看到每个特征对总分的影响 线性回归简单回顾 线性回归模型是用属性线性组合来预测目标变量，而每个属性的权重反映了在该模型中属性的重要程度，即权重越大，则在该模型中对目标变量的预测能力越强 逻辑回归是一个
逻辑回归的推导和理解（公式清晰）
双鸭山•克里菲斯•北方孤星之堕
07-08 1266
前言 Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。LR也是面试时常需要手撕的模型，本文从各种角度推导了LR的相关公式，希望对大家有帮助（未完待续）。 模型建立推导 由线性回归的定义式出发，hθ(x)h_{\theta}(x)hθ​(x)是预测值： hθ(x)=∑i=0nθixi=θTx h_{\theta}(x)=\sum_{i=0}^n{\theta _i}x_i=\theta ^Tx hθ​(x)=i=0∑n​θi​xi​=θTx Sigmoid函数（s
转载：逻辑回归---原理推导
dd_souga的博客
08-25 962
logistic求参推导
逻辑回归原理详解（附手写推导）
邓胖胖的博客
01-22 4875
目录 一、逻辑推导 二、手写推算逻辑回归运算步骤 1、梯度下降法 2、最大似然估计法 三、用梯度下降法求损失函数最小值 四、代码部分 一、逻辑推导 因部分内容与作者之前所发布的文章有所重复，故只对新的知识或重复部分中较为重点的内容进行讲解。 逻辑回归通常用于解决分类问题，比如：客户是否该买某个商品，借款人是否会违约等。实际上，“分类”是逻辑回归的目的和结果，中间过程依旧是“回归”，因为通过逻辑回归模型，我们得到的是0-1之间的连续数字，即概率，类似...
逻辑回归（Logistic Regression，LR）公式推导
热门推荐
ywm_up
11-12 1万+
什么是逻辑回归 LR 是 Logistic Regression Classifier，本质上是线性回归，特殊之处在于特征到结果的映射中加入了一层逻辑函数 g(z) 是 sigmoid 函数。因此逻辑回归 = 线性回归 + sigmoid。 线性回归公式： y=wTx+b y = w^Tx + b y=wTx+b 有时候为了方便，将权值向量和输入向量加以扩充，仍记作 w,xw, xw,x 即 w=(w(1),w(2),...,w(n),b),x=(x(1),x(2),...,x(w),1)w = (w^{(
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值