第十八天 线性模型

线性模型是一类用于回归和分类任务的简单而强大的工具。以下是关于线性回归和逻辑回归的详细介绍：

一、线性回归

1. 定义：

   线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。它试图找到一个最佳的线性方程，以描述自变量（输入特征）和因变量（目标变量）之间的关系。

2. 模型表达：

   一元线性回归的表达式为y=mx+c，其中y是因变量，x是自变量，m是斜率，c是截距。多元线性回归则涉及多个自变量，表达式可以扩展为y=w’x+e，其中w是权重向量，x是特征向量，e是误差项，通常假设e服从均值为0的正态分布。

3. 求解方法：

   线性回归通常采用最小二乘法来找到最佳的模型参数，即使得预测值与实际值之间的平方误差和最小。最小二乘法是一种数学优化技术，它通过最小化误差（真实目标对象与拟合目标对象的差）的平方和来寻找数据的最佳函数匹配。

4. 应用场景：

   线性回归广泛应用于预测和建模领域，如根据面积和卧室数量预测房价、根据广告支出估计销售额等。它还可以用于趋势分析，如绘制时间序列数据的长期走势图。

二、逻辑回归

1. 定义：

   逻辑回归是一种广义的线性回归分析模型，用于估计二分类因变量的概率。尽管名字中包含“回归”，但逻辑回归实际上是一种分类算法，主要用于二分类问题。

2. 模型表达：

   逻辑回归通过拟合一个逻辑函数（也称为Sigmoid函数），将自变量和因变量之间的线性关系转换为概率。Sigmoid函数的表达式为σ(z)=1/(1+e^(-z))，其中z是自变量和模型参数的线性组合。逻辑回归的输出是一个概率值，通常在0到1之间，表示样本属于正类的可能性。

3. 求解方法：

   逻辑回归通常采用极大似然估计法来求解模型参数，即最大化观测到的数据的概率来估计参数。在实际应用中，还可以使用梯度下降法等优化算法来求解模型参数。

4. 应用场景：

   逻辑回归广泛应用于分类问题，如根据客户的人口统计信息和购买历史预测客户是否会流失、根据邮件内容判断是否为垃圾邮件等。它还可以用于多分类问题，但通常需要通过一些策略（如一对多）将其扩展到多分类场景。

三、线性回归与逻辑回归的联系与区别

1. 联系：

   线性回归和逻辑回归之间的联系在于，逻辑回归实际上是将线性回归计算得到的值映射到Sigmoid函数中去，从而进行样本分类。因此，逻辑回归可以看作是线性回归的一种扩展或变种。

2. 区别：

   • 因变量类型不同：线性回归的因变量是连续的数值型数据，而逻辑回归的因变量是离散的分类数据（通常是二分类）。
   • 输出类型不同：线性回归的输出是预测值，即因变量的估计值；而逻辑回归的输出是概率值，表示样本属于某个类别的可能性。
   • 应用场景不同：线性回归主要用于预测和建模连续数值型数据的关系；而逻辑回归主要用于分类问题，特别是二分类问题。

综上所述，线性回归和逻辑回归都是线性模型的重要组成部分，它们在不同的应用场景中发挥着各自的作用。