线性回归（Linear Regression）算法介绍及代码示例

线性回归（Linear Regression）算法介绍

线性回归是一种基本的回归分析方法，用于探索自变量（特征）与因变量（目标）之间的线性关系。它的目标是通过找到一个最佳拟合线（或超平面），来最小化预测值与实际值之间的误差。

基本原理

1. 模型假设：线性回归假设因变量 yy 与自变量 XX 之间的关系可以用线性方程表示：

   

   其中，β0 是截距，β1​,β2​,…,βn​ 是回归系数，ϵϵ 是误差项。

2. 最小二乘法：线性回归通常使用最小二乘法来估计参数，目标是最小化预测值与实际值之间的平方差：

   

3. 评估指标：常用的评估指标包括均方误差（MSE）、决定系数（R2）等。

线性回归的优缺点

优点：

• 简单易懂，易于实现和解释。
• 计算效率高，适用于大规模数据集。
• 可以通过正则化（如Lasso、Ridge）处理过拟合问题。

缺点：

• 对于非线性关系的拟合能力较差。
• 对异常值敏感。
• 需要满足线性回归的基本假设（如线性关系、同方差性等）。

Python代码示例

下面是一个使用Python的scikit-learn库实现线性回归的简单示例：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# 生成示例数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)  # 自变量
y = 4 + 3 * X + np.random.randn(100, 1)  # 因变量

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f"均方误差 (MSE): {mse}")
print(f"决定系数 (R²): {r2}")

# 可视化结果
plt.scatter(X_test, y_test, color='blue', label='真实值')
plt.scatter(X_test, y_pred, color='red', label='预测值')
plt.plot(X_test, y_pred, color='green', linewidth=2, label='回归线')
plt.xlabel('自变量 X')
plt.ylabel('因变量 y')
plt.title('线性回归示例')
plt.legend()
plt.show()

Find More

代码说明

1. 数据生成：生成一个简单的线性关系数据集，其中包含一些随机噪声。
2. 划分数据：将数据集划分为训练集和测试集。
3. 训练模型：使用LinearRegression类进行模型训练。
4. 预测与评估：对测试集进行预测，并计算均方误差（MSE）和决定系数（R2R2）。
5. 可视化：绘制真实值、预测值和回归线的散点图。

通过这个示例，你可以了解线性回归的基本应用和实现方式。你可以根据需要调整数据集和模型参数，以适应不同的回归问题。