课程4. 线性模型

线性 ML 模型

线性分类和回归模型在经典机器学习中发挥着重要作用。我们将看到，线性模型易于使用和学习，具有部分可解释性，并且具有许多有趣的修改。将来，我们将会了解到神经网络在某种程度上是线性模型的扩展，也是线性模型的显著复杂化。

线性分类和回归模型彼此有很大不同，因此我们将分别考虑它们。讲座的第一部分将专门讨论线性分类模型，第二部分将专门讨论线性回归模型。

线性分类模型

我们需要以下概念：

向量及其操作。
两个向量的标量积。
平面、超平面上的直线方程。
数理统计要素：数学期望、离差、标准差。

广义线性分类器

广义线性分类器的想法是，我们将采取一些线性曲面，或者也称为超平面，作为这样的边界。

让我提醒你，线性曲面是可以用线性方程形式定义的曲面。在最简单的情况下，它只是一条直线：$$y=kx+b$$ 或者，数学家会写出相同的等式：$$Ax+By+C=0$$
为什么我说这个案例最简单呢？关键在于我们这里只有 2 个变量，也就是说，我们在平面上工作。但是，同样的方程可以写出更多数量的变量：3、4，一般来说，我们可以写出任意数量的变量。一般来说它看起来像这样：$$w_1{x}_1+w_2{x}_2+w_3{x}_3+...+w_N{x}_N+w_0=0$$

满足该方程的点 $x$ 的集合可以在 $N$ 维平面上绘制，它将为我们提供一些表面。我们可以通过选择系数 $w_0,w_1...w_N$ 来判断这将是什么样的表面。

在二维情况下，这个表面将是某种线，在三维情况下 - 一个平面，更高的维度是人们很难想象的。这就是为什么我们要以二维的情况为例。

在二维情况下，逻辑非常简单：
一组点与另一组点可以通过一条直线分开。但是直线有多种类型，有些直线比其他直线更能完成这项任务。我们的目标是找到最佳路线。

最好 是什么意思？
那么，这一任务该如何正式表述呢？

做好准备，有数学课了！

I. 我想你们中的许多人在上学或一年级的时候就记得标量积是什么。数学家、程序员和物理学家对这个物体了解很多有趣的事情:

让我提醒你一下：如果你和我有两个向量 $$\vec{x}=(x_1,...,x_N)\in R^N$$ $$\vec{y}=(y_1,...,y_N)\in R^N$$ 那么它们的（欧几里得）标量积称为 $(\vec{x},\vec{y})=x_1{y}_1+x_2{y}_2+...+x_N{y}_N=\sum x_i{y}_i$。

那么平面上直线的方程可以写成$w_1{x}_1+w_2{x}_2+w_0=0$（若平面直线公式 $y=kx+b$ 中，$x$ 替换为 $x_1$，$y$ 替换为 $x_2$）。

或者，等价地，$$(\vec{w},\vec{x})+w_0=0$$

向量 $\vec{w}$ 被称为我们模型的参数的向量，有时也称为权重向量。
正是这一点定义了我们用来将一个类与另一个类分隔开的特定线。也就是说，选择一条特定的线意味着选择一个特定的参数向量$\vec{w}$和值$w_0$。我们的任务正是找到这些 $\vec{w}$ 和 $w_0$

Ⅱ. 让我们回顾一下与直线方程有关的一个有趣细节：让直线由方程 $f_w(x)=(\vec{w},x)+w_0=0$ 定义。那么函数$f_w$的符号将会改变如下：

1. 如果 $x^{\prime }$ 位于一条直线上，则 $f_w$($x^{\prime }$) = 0

2. 如果 $x^{\prime \prime }$ 位于线的一侧（条件是 - 在右侧），则 $f_w$($x^{\prime \prime }$) > 0

3. 如果 $x^{\prime \prime \prime }$ 位于线的另一侧（有条件地 - 在左边），则 $f_w$($x^{\prime \prime \prime }$) < 0

也就是说，我们不一定非要用眼睛去看构造的线；我们可以完全忽略我们的模型是一条线的事实。只是现在我们有一个非常具体的分类算法：

如果点 x 位于线的左侧，则 $f_w$($x^{\prime \prime }$) < 0 - 我们将其分配给类 0。
如果点 x 位于线的右侧，则 $f_w$($x^{\prime \prime }$) > 0 - 我们将其分配到类 1。

我们面临的最后一个问题是找到最佳参数集来对给定的数据集进行分类。

思考：

现在我们正在讨论一个问题的模型示例，其中存在这样一个超平面，可以将我们的样本分成 2 个类。事实上，没有人向我们保证存在这样的超平面。存在这种超平面的样本称为线性可分。

如果样本不是线性可分的，线性分类器将不会产生完美的结果，但它可能会产生足够好的结果。

优化问题

寻找这个参数向量时应考虑哪些因素？

在回答这个问题之前，让我们先做一些更有趣的观察：

• 想出一个可以显示我们模型的错误的功能并不难：
  $$M(f_w,x,y)=[f_w(x)=y]$$
  这样的函数称为指示符，当方括号中的条件不满足时，它返回 0，当满足时，它返回 1。

• 但评估我们的模型有多么错误已经变得更加困难。毕竟，当线路距离分析点很远而将其发送到错误的类别时的情况与线路距离该点很近的情况有很大不同。如果预测正确，我们会倾向于使用那些做出自信预测的模型，如果预测不正确，我们会倾向于使用那些做出不自信预测的模型。

想象一下你是一名老师，你向学生问了一个难题。其中一个学生立刻答错了，并且一脸的自信；第二个学生也答错了，但是努力思考，对自己的错误答案表示怀疑。您会优先考虑第二个，尽管两个答案都给出了错误的答案。

也就是说，仅仅以指标的形式进行错误评估是不够的。我们想了解我们的模型在决策上有多错误。

• 为此我们将使用以下想法：
  从几何角度来看，模型的置信度可以解释为从一个点到我们用于分类的线的距离。如果该点距离直线较远，则模型的置信度较高，如果距离直线较近，则模型不确定。我们如何估计这个距离？
  事实证明，借助相同的函数 $f_w(x)$！它的符号表示该点相对于线的位置，而它的模表示该点距离线的距离。

  • 让我们使用的类标签以 +1 和 -1 的形式指定。然后，当且仅当分类正确时，表达式 $M_i(\vec{w},w_0)=f_w(x_i)\ast y_i$ 才会为正，并且其模量将向我们展示模型的置信度！

  让我们仔细看看：

  • 让 $y_i$ = +1。然后，如果 $f_w(x_i)>0$，则模型做出正确预测，如果 - $f_w(x_i)<0$，则模型做出错误预测。然后，将 $y_i$ 乘以 $f_w(x_i)$，只有当 $f_w(x_i)>0$ 时，我们才会得到一个正数，即分类正确。正如我们在上一段中发现的那样，结果值将与模型对其正确分类的信心成正比。

• 反之亦然：让 $y_i$ = -1。然后，如果 $f_w(x_i)<0$，则模型做出正确预测，如果 - $f_w(x_i)>0$，则模型做出错误预测。如果分类正确，则乘以 $y_i=-1$ 将得到正结果；如果分类错误，则乘以 $y_i=-1$ 将得到负结果。该值本身再次显示了模型对其答案的信心。

所以我们希望 $M_i(w,w_0)$ 尽可能大！
此功能称为缩进。我们的任务是最大化整个数据集的平均边距！

正是基于这种考虑，我们必须选择模型的参数。因此，我们将二分类问题简化为优化问题，即寻找某个函数的最小值或最大值。在本讲座的最后，我们将讨论如何在机器学习中解决此类问题。

我们将考虑这种方法的两种特殊类型。

SVM（支持向量机）

我们可以从超平面中获取一些额外的属性。假设我们希望分类尽可能的可信。这意味着每个类的对象与绘制的超平面之间的最小距离应该尽可能大，因为我们已经发现，这个距离是“置信度”的正式等价物。让我们想象一个由两个与分割超平面平行的超平面所包围的带状区域，它满足两个要求：

• 没有一个物体落入这个带内（我们首先假设样本是线性可分离的，那么这是可能的）。

• 该条带的边界尽可能靠近两个类的物体（也就是说，如果我们稍微增加该条带的宽度，那么某个物体肯定会落入里面）。

• 构建的分割超平面正好位于该条带的中间。

下图说明了此模型。

在我们的例子中，最大分类置信度的要求意味着我们要构建一条线，使得将一个类与另一个类分开的条带的宽度尽可能大。

这是一个完全自然的要求，因为我们希望上一段中考虑的最小偏移量，即分离超平面到样本最近物体的距离，尽可能大——在这种情况下，分类将最有信心。
这个要求可以写成优化问题的数学公式。以方程和不等式系统形式表述的公式相当繁琐；它的研究超出了我们课程的范围。

让我们继续考虑解决这个问题。

通过求解二次规划问题，我们得到一组系数${\lambda }_i$和一个决策规则：
$$a(x)=sign[\sum {\lambda }_i{y}_i(x_i,x)-\sum {\lambda }_i{y}_i(x_i,x_j)-y_i]$$

（其中 $j$ 是 ${\lambda }_j$>0 且 $M_j$=1 的对象的索引）。
在这种情况下，$x_i$ 是我们样本中的第 $i$ 个对象，$y_i$ 是该对象的标签，${\lambda }_i$ 是通过分析解决优化问题获得的一组系数。函数 $y=sign(x)$ - 符号函数(符号)。

正是这个分类器，在给定一组正确选择的数字${\lambda }_i$的情况下，为我们提供了最大化带宽所需的决策规则。

为了最大化带宽，我们实际上不需要知道距离该带宽很远的物体的任何信息。总之，我们只需要了解位于这个最佳带边界上的物体的一些情况。形式上，这意味着许多系数 ${\lambda }_j$ 将等于零，并且只有其中与位于条带边界上的物体相关的一些系数将不为零。这样的对象被称为支持向量。

难的？
没关系，让我们用一个例子来看看这个算法是如何工作的。

"""
考虑一个包含“无神论”和“太空”类别的一组新闻文章的数据集
"""

# 导入必要的库
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import KFold
from sklearn.svm import SVC
import numpy as np

# 加载数据集
newsgroups_data = fetch_20newsgroups(
    subset='all',
    categories=['alt.atheism', 'sci.space']
)
print(newsgroups_data.data[0])

输出：

任务是将文章归入其中一个类别。出现了一个问题——我们如何将文本表示为向量？毕竟，它是我们必须传递给算法的由一定数量的实数组成的向量。让我们考虑一下文本矢量化的选项之一。

ONE HOT 和 TF-IDF

TF-IDF 是众所周知的文本向量化方法之一，基于词向量化方法（以及任何分类特征），称为独热编码。

我们的想法是，我们掌握的每个单词都可以表示为以下形式的向量

$$[\mathrm{0...010...0}]$$

其中$1$代表词典中该单词的序数对应的唯一位置。

也就是说，在最简单的情况下，每个单词都与上面指示的类型的向量相关联。这种方法称为“独热编码”。

让我们以 sklearn 实现为例来考虑独热编码。该方法在 sklearn.preprocessing.OneHotEncoder 类中实现。

from sklearn.preprocessing import OneHotEncoder
import numpy as np

# 为 OneHotEncoder 创建字典
vocabulary = np.array(['I', 'love', 'cats'])

# 初始化和.fit OneHotEncoder
one_hot_encoder = OneHotEncoder(handle_unknown='ignore')
one_hot_encoder.fit(vocabulary.reshape(-1, 1))

输出：

通过简单地将这些文本所含单词的向量相加，就可以得到整个文本的向量。这种文本向量化的方法称为“词袋”（Bag Of Words）。

TF-IDF 是 Bag Of Words 思想的一个轻微修改，它认为词向量不应该随机地加在一起，而应该具有一些重要性系数。一个词对于描述一段文本的重要性是根据两点考虑来确定的：

• 一个词在我们所知的所有文本中出现的频率越高，它的个体性就越差，对于表征我们特定的文本的重要性就越低，它应具有的权重也就越小。
• 一个词在我们的文本中出现的频率越高，它对文本的特征就越大，它的权重就应该越大。

基于这些思想，形成文本中每个词的权重，然后将这些权重加在一起得到词向量。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import SVC

# 将新闻组数据转换为 TF-IDF 表示
tfidf_vectorizer = TfidfVectorizer()
X_tfidf = tfidf_vectorizer.fit_transform(newsgroups_data.data)
y_target = newsgroups_data.target

# 使用线性核初始化 SVM 分类器（下一讲将介绍核）
svm_classifier = SVC(C=1.0, random_state=241, kernel='linear')

# 分类器训练
svm_classifier.fit(X_tfidf, y_target)

输出：

请注意，在初始化支持向量分类器（SVC）时，我们将参数值C = 1.0传递给构造函数参数。

C是SVM的重要超参数之一，称为正则化参数。我们在理论上仅考虑了线性可分的[样本]的情况，但并非所有样本都是如此。这并不意味着不可能建立 SVM，我们只是必须接受我们的算法仍然会犯一些错误。这里参数C就是算法对于不可避免的错误的“惩罚”程度。

我们还使用“kernel=‘linear’”参数的值。我们将在下一讲中进一步讨论这个论点和核心。

系数 C 的值过大会导致算法过度适应特定样本、其中存在的噪声和异常值，而系数 C 的值过低会导致算法无法学习数据中所需的依赖关系。

# 从 TF-IDF 向量器获取特征（单词）列表
feature_names = tfidf_vectorizer.get_feature_names_out()

# 按模块确定最重要的分类器系数（前 10 名）
# coef_字段中包含的模型系数
coefficients = np.asarray(svm_classifier.coef_.todense()).reshape(-1)
# 系数模块
abs_coefficients = np.abs(coefficients)
# 十大赔率指数
top_indices = np.argsort(abs_coefficients)[-10:]

print(top_indices)

输出：[22936 15606 5776 21850 23673 17802 5093 5088 12871 24019]

# 我们对于元素索引了解不多。让我们看看哪些词与这些索引直接对应。
np.array(feature_names)[top_indices]

输出：
array([‘sci’, ‘keith’, ‘bible’, ‘religion’, ‘sky’, ‘moon’, ‘atheists’,
‘atheism’, ‘god’, ‘space’], dtype=object)

支持向量机（SVM）的优缺点：

优点：

• 识别多个支持向量
• 具有唯一的解析解
• 构建效率高

缺点：

• 对异常值敏感
• 需要选择超参数 C

逻辑回归

我们还可能需要另一个有趣的属性：让我们的算法不仅返回类号，还返回一个对象属于特定类的概率。然后我们得到一个称为逻辑回归的算法。

我们的想法是，我们的分类器现在不应该产生严格的 1/0 答案，而应该只产生属于类 1 的对象 概率，同时仍然是一个线性分类器。

这种分类方法称为软分类，即算法返回对象属于某个类别的程度的分类。另一种更为熟悉的分类方法是严格分类，其中算法明确地向我们返回其中一个类。

为此，我们将使用一个非常著名的函数，通常称为 Sigmoid：

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

Sigmoid函数有许多有用的特性：

1. 很容易看出，Sigmoid函数的值在 0 到 1 的范围内
2. Sigmoid函数图的 Y 轴在 0.5 处相交
3. 函数在无穷远处趋向于 1，在负无穷远处趋向于 0

让算法如下：

我们并不像往常一样计算函数 $(w,x)+w_0$（通过其符号来判断它是属于类 0 还是类 1），而是对得到的值应用Sigmoid函数。

那是
$$a(x)=\sigma ((w,x)+w_0)$$

请注意以下几点：

• 当我们的分类器决定将某个对象归类为第 1 类时，$(w,x)+w_0>0$，即 $\sigma ((w,x)+w_0)>0.5$，而当该对象被归类为第 0 类时，$\sigma ((w,x)+w_0)<0.5$。也就是说，0.5现在是我们决策的门槛。
• 分类器现在给出从 0 到 1 的任意数字
• 缩进越大，即模型越有信心，$a(x)$的值就越大。

所有这些都让我们有理由将输出 $a(x)$ 精确地视为对象属于第 1 类的概率！
当这个概率大于 0.5 时，我们将对象归类为 1 类，但同样的情况对应于常规线性分类器模型给出 1 类的值的情况。0 也是如此。在这种情况下，概率的所有属性都得到满足。

只需添加一个Sigmoid函数即可将我们的线性分类器模型转换为返回概率的模型。这个模型称为逻辑回归

模型训练

对于所有这些模型，我们都需要选择参数$\vec{w}$（和$w_0$）的最佳向量。在 SVM 的情况下，我们提到可以使用某些分析程序找到该向量，但我们没有深入讨论其细节。对于逻辑回归来说，根本没有确定误差函数精确最小值的程序。

---

注意：

误差函数（损失函数）是一个取决于模型参数的函数，显示这个模型的错误程度。
损失函数不太取决于模型本身，而是取决于我们正在解决的问题。

在上一讲中，我们在度量方法的背景下研究了回归问题，并讨论了可以基于最小化模型预测误差的均方条件来解决该问题。这是损失函数的经典例子。

在二分类问题中，通常使用二元交叉熵（BCE）作为损失函数。该函数取决于实际标签 $y$ 和算法的预测 $a(x)=p$，如下所示：

$$H(p,y)=-(y\cdot ln(p)+(1-y)\cdot ln(1-p))$$

此函数是根据信息理论的考虑而选择的。

---

很明显，训练模型的任务简化为选择提供预期损失函数最小值的参数 $\vec{w}$，数学符号为 $\vec{w}=argmin(Los{s}_{expected}(\vec{x},\vec{w}))$。这意味着我们需要一些程序来让我们找到这个最小值，即使没有分析方法可以找到这个最小值。这种类型中最流行的算法之一是梯度下降。

梯度下降

寻找函数的最小值可以比作穿越山脉。

想象一下，你是一位在山上行走并试图下山的旅行者。实际上，您会根据对周围区域的概览来选择路径。但在寻找函数最小值的情况下，我们只能计算函数在特定点的特征，因此正确的联想就像你在爬山前蒙住眼睛一样。您知道自己所处的海拔高度，并能感受到所在位置山体表面的坡度。

在这种情况下你会怎么做？每一步你都会朝着地面坡度最陡的方向前进。

这个想法可以扩展到寻找最小值的数学模型。从数学分析中可知，若有一个函数 $F=F(x_1...x_n)$，​​则该函数的偏导数向量（称为梯度），$$\overrightarrow{grad(F)}=\overrightarrow{\nabla F}=(\frac{\partial F(x_1)}{\partial x_1}...\frac{\partial F(x_n)}{\partial x_n})$$

针对功能的最快增长。因此，反梯度向量指向函数下降最快的方向。如果我们想一步一步地接近函数的最小值，我们必须每次朝着反梯度的方向迈出一小步。从数学上来说，这个想法可以写成以下公式： $$\overrightarrow{x_{n+1}}=\overrightarrow{x_n}-\lambda \overrightarrow{\nabla F(x)}$$ 其中 $\lambda$ 表示我们的步长。

通过运用这个想法来找到模型 $\vec{w}$ 参数的损失函数的最小值，我们将找到模型参数的最优（或几乎最优）向量，我们将使用它进行分类。让我们记住这个想法！

逻辑回归的优缺点：

优点：

• 最终可得到概率值
• 有多种有趣的调整方式

缺点：

• 只能通过迭代方法进行训练

线性回归模型

线性回归的单变量情况

想象一下你是一名实验者。例如，您是一位物理学家或机械师，刚刚发明了一种新材料。您对自己的发现感到非常兴奋，并期待获得许多奖项以及全世界对您的成就的认可。但在你满足于现状之前，你必须向世人展示你的工作成果，因此要详细描述你所发明的材料的特性。

今天你的任务是测量这种材料的弹性系数。你可能还记得学校里学过的胡克定律，该定律将单轴实验中施加的力与延伸联系起来：$$F=k\Delta x$$
$k$ 就是您要寻找的系数。

看上去一切都非常简单。您需要做的就是取一组已知质量的砝码和一把尺子，固定样品，开始悬挂砝码，然后测量由此产生的伸长率 $\Delta x$。然后，有了一组表示对 $(F_i,\Delta x_i)$ 的测量值，你就可以轻松找到系数 $k=\frac{F_i}{\Delta x_i}$。而且，根据理论，你可以取任意 $i$（即任意一对维度），而关系不应由此改变。

这意味着理论上 $F$ 线性依赖于 $\Delta x$，也就是说，如果你绘制这种依赖关系的图形，该图形将只是一条直线。

但事实上，一切结果都会有些不同。你进行实验的建筑物肯定会位于主要高速公路或地铁线路附近，也许附近有机场，或者外面只是有雷雨天气。外界影响会破坏它，所有这些刺激物的振动都会影响实验的纯度，你会得到与预期略有不同的结果。点对 $(F_i,\Delta x_i)$ 不会完美地位于线上，而是会散布在线周围。

您怎样才能真正知道材料的弹性系数是多少，哪怕是近似值？毕竟，不同的实验会给出完全不同的结果。

答案是我们必须破译隐藏在观察序列中的线性依赖关系，并构建一条近似直线 $$y=kx+b$$（在胡克定律 $b$=0 的情况下），这将很好地模拟自然的原始规律。

也就是说，问题又归结为我们必须根据原始标记样本选择线 $k$ 和 $b$ 的系数。

也就是说，我们的回归算法具有形式 $$a(x)=kx+b$$

当有很多标志（>1）时该怎么办？

现在我们考虑只需要预测一个属性的情况，但预测必须基于 $m-1$ 个不同的特征进行。也就是说，我们工作的空间是 $m$ 维的（$m-1$ 个特征和 $1$ 个我们想要预测的属性）。

例如，“苹果”这个对象的属性可能是它在最近的市场的价格，而描述这个苹果的特征则是它的大小和成熟度。如果苹果的价格分别线性依赖于成熟度和大小，那么在这个空间中就会存在一个线性超平面，其中的每个点对应一个三元组（成熟度-大小-价格），并且知道大小和成熟度，我们就可以明确地预测价格。

一般来说，可能有更多的预测属性。

正如我们上次讨论的那样，线性曲面可以在多维空间中表示为满足以下方程的一组点：$$f_w(x)=\sum _{i=1}^{m-1}{x}_i{w}_i+w_0=(\vec{x},\vec{w})+w_0=0$$

在这种情况下，线性回归算法被推广到多维平面，如下所示。

令变量$x_1...x_{m-1}$表示物体在$(m-1)$维空间的特征描述，坐标$m$表示预测变量。然后该方程可以重写如下： $$x_m=-\frac{w_1}{w_m}{x}_1-\frac{w_2}{w_m}{x}_2-...-\frac{w_{m-1}}{w_m}{x}_{m-1}-\frac{w_0}{w_m}$$

为了方便起见，我们将执行以下重命名：$${\alpha }_i:=-\frac{w_i}{w_m}$$

然后所需变量 $x_m$ 的值可以表示为 $x_1...x_{m-1}$ 和参数向量 $\vec{\alpha }$ 的函数 $$x_m(x_1...x_{m-1},\vec{\alpha })={\alpha }_1{x}_1+...+{\alpha }_{m-1}{x}_{m-1}+{\alpha }_0$$

然后，给定一个已知的向量$\vec{\alpha }$，线性回归算法可以写成如下形式：
$$a(\vec{x})=x_m(x_1...x_{m-1})=\sum _{i=1}^{m-1}{\alpha }_i{x}_i+{\alpha }_0$$

这里的$a(x)$表示我们模型的预测，它在几何上表示超平面$x_m$点的第$n$个坐标的值。

import plotly
import plotly.graph_objects as go
import numpy as np

# 生成数组 x 和 y
apple_maturity = np.outer(np.linspace(0, 1, 30), np.ones(30))
apple_size = apple_maturity.copy().T

# 计算苹果的成本
apple_cost = apple_maturity + 3 * apple_size + 1
normalized_apple_cost = apple_cost / 2

# 设置图形轴
layout = go.Layout(
    scene={
        "xaxis": {"title": "Apple ripeness"},
        "yaxis": {"title": "Apple size"},
        "zaxis": {"title": "The cost of an apple"},
    }
)

# 创建表面图
figure = go.Figure(data=[go.Surface(x=apple_maturity, y=apple_size, z=normalized_apple_cost)], layout=layout)
figure.show()

输出：

矩阵符号

---

为了记录方便，我们进行如下操作：
让我们向向量 $\vec{x}$ 添加一个坐标，并为其赋值 $1$。

在这种情况下，向量 $\vec{x}$ = ($x_1,...,x_{m-1},1$)

我们将向量 $\vec{\alpha }$ 替换为向量 $({\alpha }_1,...,{\alpha }_{m-1},{\alpha }_0)$

然后标量积 $(\vec{x},\vec{\alpha })=\sum _{i=1}^{m-1}{\alpha }_i{x}_i+{\alpha }_0\cdot 1$，也就是说，在这种情况下我们的算法将采用以下形式 $$a(\vec{x})=(\vec{x},\vec{\alpha })$$

从现在起我们就照这样写。

---

令 X = { x i j } X = \{x_{ij} \} X={xij​} 为一个矩阵，其元素 $x_{ij}$ 表示维度为 $N\times M$ 的第 $i$ 个对象的第 $j$ 个特征。这样的矩阵$X$被称为特征对象矩阵。

在这种情况下，$N$ 是样本中的对象数量，$M$ 是描述每个对象的特征数量。

为了获得第 $i$ 个对象的模型预测，需要将该矩阵的第 $i$ 行乘以参数向量 $\vec{\alpha }$。

在这种情况下，矩阵乘积 $X\vec{\alpha }:T$ 定义了模型预测向量： $$a(X)=X{\vec{\alpha }}^T\in R^N$$

这里 ${\vec{\alpha }}^T$ 是向量 $\vec{\alpha }$ 的转置，也就是从行向量变成列向量。

参数选择

我们如何为预测模型选择最佳参数？

与往常一样，为了理解寻找最佳参数的策略，我们需要了解我们认为哪些参数是最佳的。或者，用机器学习术语来说，选择一个我们将要优化的损失函数。

让我们讨论一下一维的情况。假设对于对象 $x$，我们模型的预测为 $a(x)$，而我们要找到的变量的实际值是 $y$。

在这种情况下，算法 $a$ 在对象 $x$ 上的误差可以表示为差值 $|a(\vec{x})-\vec{y}|$ 或 $(a(\vec{x})-y{)}^2$ 的模数或平方。在这种情况下，经验风险函数（即我们想要找到的最小值，该函数表明算法 $a$ 在整个数据集 $X$ 上的累积误差）可以写成 $$Q(a,X)=\frac{1}{N}\sum (a(x_i)-y_i{)}^2$$ 或 $$Q(a,X)=\frac{1}{N}\sum |a(x_i)-y_i|$$

当我们考虑使用度量分类器解决回归问题时，我们已经遇到了这样的函数。

简单来说，最小化 $Q(a,X)$ 就是找到算法 $\overrightarrow{{\alpha }_{opt}}$ 的这样一个参数向量，其中我们的预测的平均误差将最小。

这里我们正在处理二次函数。这意味着我们可以使用简单的学校方法找到它的最小值，对 $Q$ 求 $\vec{\alpha }$ 的导数，并将导数等于 0

在一维情况下：

$$a(x)={\alpha }_{1}x+{\alpha }_0$$

$$Q(a,x)=\frac{1}{N}(({\alpha }_1{x}_1+{\alpha }_0-y_1{)}^2+...+({\alpha }_1{x}_N+{\alpha }_0-y_N{)}^2)$$

然后，对最后一个表达式进行微分，我们得到：
$$\frac{\partial Q({\alpha }_1,{\alpha }_2,x)}{\partial {\alpha }_1}=\frac{1}{N}(2x_1({\alpha }_1{x}_1+{\alpha }_0-y_1)+...+2x_N({\alpha }_1{x}_N+{\alpha }_0-y_N))(1)$$

$$\frac{\partial Q({\alpha }_1,{\alpha }_2,x)}{\partial {\alpha }_0}=\frac{1}{N}(2({\alpha }_1{x}_1+{\alpha }_0-y_1)+...+2({\alpha }_1{x}_N+{\alpha }_0-y_N))(2)$$

通过使$(1)$和$(2)$等于零，并求解两个变量的线性方程组，我们得到了精确的解析解。

$$\frac{\partial Q}{\partial {\alpha }_1}=2(({\alpha }_1{x}_1+{\alpha }_0)-y_1)x_1+...+2(({\alpha }_1{x}_n+{\alpha }_0)-y_N)x_N=0$$

$$\frac{\partial Q}{\partial {\alpha }_0}=2({\alpha }_1{x}_1+{\alpha }_0-y_1)+...+2({\alpha }_1{x}_N+{\alpha }_0-y_N)=0$$

然后

$${\alpha }_1(x_1^2+...+x_N^2)=x_1{y}_1+...+x_N{y}_N-{\alpha }_0(x_1+...+x_N)$$

$${\alpha }_1(x_1+...+x_N)=y_1+...+y_N-N{\alpha }_0$$

从这里

$${\alpha }_0=\frac{y_1+...+y_N-{\alpha }_1(x_1+...+x_N)}{N}$$

$${\alpha }_1=\frac{x_1{y}_1+...+x_N{y}_N-\frac{1}{N}(y1+...+y_N)(x1+...+x_N)}{x_1^2+...+x_N^2-\frac{1}{N}(x_1+...+x_N{)}^2}$$

最小二乘法

上面描述的方法称为普通最小二乘法（OLS）。这个名字的原因是显而易见的。

但是为什么我们更喜欢最小化正方形而不是最小化模块呢？
关键在于，对于最小化哪一个，并没有根本的区别。但是最小化均方差有几个优点：与绝对值的平方和不同，它在处处可微，并且其导数可以方便地写出。参数空间中的均方误差定义了旋转抛物球面的表面，而平均模量定义了圆锥的表面。在计算数学中，二次函数通常比模函数更受欢迎（尽管我们会看到也有例外）。

OLS可以扩展到更高维特征描述的情况。

在多维情况下，相同的表达式可以写成矩阵形式。
对于特征对象 $X$ 矩阵，具有参数 $\vec{\alpha }$ 向量的模型的预测可以通过简单的矩阵乘法 $a(X)=X{\vec{\alpha }}^T$ 获得。

如果我们知道正确答案的向量 $\vec{y}=(y_1...y_n{)}^T$，则数据集的总误差可以表示如下：

$$Q(\vec{\alpha },X,y)=\frac{1}{N}\sum _{i=1}^N(({\vec{x}}_i,\vec{\alpha })-y_i{)}^2$$

或者也可以通过预测与正确答案的偏差向量的 norm （长度概念的泛化）来写出相同的内容：

$$Q(\vec{\alpha },X,y)=\frac{1}{N}||X{\vec{\alpha }}^T-\vec{y}|{|}_2^2$$

在向量情况下：
$$||\vec{a}|{|}_2=\sqrt{a_1^2+...+a_n^2}$$

我们将根据参数向量 $\vec{\alpha }$ 最小化该函数。

---

在最一般的情况下，我们可以对几个属性做出预测。然后我们需要做如下的转换。

现在 $y_i$ 可以是任意维度 $K$ 的向量。这是我们想要预测的所有属性的向量。 $K$ 是此类属性的数量。
此类向量的数量就是我们样本中对象的数量。向量 $y_i$ 的集合将为我们提供一个维度为 $N\times K$ 的正确答案 $Y$ 的矩阵。

相应地，$x_i$是一个包含对象特征描述的向量，其维度一般与$y_i$的维度不一致

向量 $\vec{\alpha }$ 将变成一个维度为 $M\times K$ 的参数矩阵 $A$。

在这种表示法中，误差函数实际上保持不变：
$$Q(A,X,y)=\frac{1}{N}\frac{1}{K}\sum _{i=1}^K\sum _{j=1}^N(({\vec{x}}_j,A_i^T)-Y_{ji}{)}^2$$

---

多元最小二乘解

为了找到极值，需要对 $Q$ 求导数，并使导数等于 0。由于该函数是二次函数，且向下凸，所以找到的极值必然是该函数的最小值。

线性代数规则告诉我们，$\frac{\partial Q(\vec{\alpha },\vec{x})}{\partial \vec{\alpha }}=2X^T(X{\vec{\alpha }}^T-\vec{y})=0$

使用一系列简单的变换可以找到此矩阵方程的解：

$$X^{T}X{\vec{\alpha }}^T=X^T\vec{y}$$
$${\vec{\alpha }}_{opt}^T=(X^{T}X{)}^{-1}{X}^T\vec{y}$$

因此，我们找到了一个解析解，表示最优参数向量 ${\vec{\alpha }}_{opt}$

这里出现了这种参数搜索算法的数值实现问题：我们看到公式包含矩阵 $X^{T}X$ 的逆运算（转置和 两个矩阵的乘法）。该操作计算复杂，并且对矩阵$X$提出了一定的要求，一般来说，它可能无法满足。通常，在实践中，我们不会使用这种方法来寻找函数 $Q$ 的精确最小值，而是使用梯度下降法。

补充知识

$\frac{\partial H}{\partial {\omega }_i}$ 的导数

在梯度下降算法中，我们需要计算二元交叉熵函数关于模型参数的导数，以执行梯度下降步骤。

让我们展示一下如何计算这个导数。

让我们考虑一个仅需要计算导数的情况。也就是说，我们有一个单一对象 $x$，它有一个真实标签 $y$，以及我们的算法的一个假设 $p$。然后 $$H(p,y)=-(y\cdot ln(p)+(1-y)\cdot ln(1-p))$$

此外，$p=\sigma ({\omega }_1\cdot x_1+...+{\omega }_n\cdot x_n+{\omega }_0\cdot 1)$

让我们回顾一下数学分析中关于计算复函数导数的一个简单规则：

$$\frac{\partial H}{\partial {\omega }_i}=\frac{\partial H}{\partial p}\cdot \frac{\partial p}{\partial {\omega }_i}$$
让我们分别计算第一项和第二项。

• $\frac{\partial H}{\partial p}=-y\cdot \frac{1}{p}+(1-y)\cdot \frac{1}{1-p}$

让我们回顾一下 S 型函数的一个主要性质（它的证明是一个有用的练习，建议自己做一下）：
${\sigma }^{\prime }=\sigma \cdot (1-\sigma )$

• $\frac{\partial p}{\partial {\omega }_i}=p\cdot (1-p)\cdot x_i$, 若 $i\ne 0$
• $\frac{\partial p}{\partial {\omega }_0}=p\cdot (1-p)$

让我们引入符号 $x_0\equiv 1$

然后两个等式都可以写成 $\frac{\partial p}{\partial {\omega }_i}=p\cdot (1-p)\cdot x_i$

我们将得到的结果相乘：

$$\frac{\partial H}{\partial {\omega }_i}=p\cdot (1-p)\cdot x_i\cdot (-y\cdot \frac{1}{p}+(1-y)\cdot \frac{1}{1-p})=x_i((1-y)\cdot p-y\cdot (1-p))$$

缩放

作为数据预处理的一部分，需要进行缩放（将特征带到单一尺度），这是线性（以及许多其他）机器学习模型的一个众所周知的特征。

我们回想一下，任何线性模型通常都是以下形式的函数：

$$f(x_1{\omega }_1+...+x_n{\omega }_n+{\omega }_0)$$

在这种情况下，以下考虑极为重要：

如果特征$x_1...x_n$表示不同尺度的变量（比如特征值$x_1$ ~ $1$，而$x_2$ ~ $1000$），那么对于大尺度的特征，微小的变化就会导致结果发生明显的变化，而对于小尺度的特征，即使是相当大的变化也几乎不会导致结果发生改变。

当然，你可以说，理论上可以通过仔细选择系数 ${\omega }_1...{\omega }_n$ 来实现平衡，从而平衡这种不平衡。是的，理论上可以，但实际上这种情况几乎无法实现。而且我们的样本量越小，这种情况发生的可能性就越小。该算法需要我们的帮助来解决指定的问题。

当我们谈论度量方法时，这个问题变得更加明显。假设我们正在处理一个二维空间，即其向量描述形式为 $\vec{x}=(x_1,x_2)$ 的对象。令 $x_1$ ~ $1$，且 $x_2$ ~ $1000$。让我们考虑三个对象：

$$\overrightarrow{x_1}=(1,1000)$$
$$\overrightarrow{x_2}=(0.01,1000)$$
$$\overrightarrow{x_3}=(1,1010)$$

在这种情况下，从我们考虑过的大多数指标的角度来看，$\overrightarrow{x_1}$ 和 $\overrightarrow{x_2}$ 之间的距离将小于 $\overrightarrow{x_1}$ 和 $\overrightarrow{x_3}$ 之间的距离，因为第二个坐标对距离做出了主要贡献。但是我们看到，从 $\overrightarrow{x_1}$ 到 $\overrightarrow{x_2}$ 时第一个坐标的相对变化比从 $\overrightarrow{x_1}$ 到 $\overrightarrow{x_3}$ 时第二个坐标的相对变化大得多。这个事实可能表明，第一个和第二个物体之间的差异实际上比第一个和第三个物体之间的差异要大得多，也就是说，算法误导了我们。

例如，如果第一个坐标描述的是飞机被雷击中后坠毁的概率，而第二个坐标描述的是最大飞行距离，那么显然，第一个坐标中的显著差异对我们来说比第二个坐标中的微不足道的差异更有意义。任何度量算法都无法考虑到这一点。

因此，我们得出结论：需要将所有特征整合到一个尺度上。有很多方法可以做到这一点。我们将研究最常见的方法。

在课程2 中，我们已经考虑了将样本带到单一尺度的方法之一 - StandardScaling。

回归质量指标

一个不太明显的问题是对线性（实际上是任何）回归的质量的评估。让我们来看看一些流行的质量指标。

平均绝对误差

$MAE$ 指标是对模型预测值与实际值偏差的预期模量的估计。在样本 $X$ 上，可以使用以下公式计算该指标

$$MAE=\frac{1}{N}\sum _{x\in X}|a(x)-y_x|$$

该度量的值是非负的，并且仅当模型对样本 $X$ 的预测完美时才会达到零。因此，$MAE$ 是需要最小化的指标。

均方误差

$MSE$ 指标是模型预测值与实际值的预期平方偏差的估计值。与$MAE$不同，$MSE$便于使用梯度方法进行优化。 $MSE$ 的一个缺点是，如果不仔细分析，$MSE$ 值可能会令人困惑，因为这里的预测误差是平方的。也就是说，例如绝对误差 2 将对应均方根误差 4。

$$MSE=\frac{1}{N}\sum _{x\in X}(a(x)-y_x{)}^2$$

$MSE$的值也是非负的，只有当模型对样本$X$的预测完美的情况下才会达到零，这意味着$MSE$也需要最小化。

均方根误差

对 $MSE$ 进行简单修改，旨在恢复在对 $MSE$ 中的绝对误差进行平方时丢失的误差幅度：
$$RMSE=\sqrt{\frac{1}{N}\sum _{x\in X}(a(x)-y_x{)}^2}$$

代码

import numpy as np

def mae(y_true: np.ndarray, y_pred: np.ndarray) -> float:
    """
    计算真实值和预测值之间的平均绝对误差。
    Parameters:
    - y_true: np.ndarray, 真实值。
    - y_pred: np.ndarray, 预测值。

    Returns:
    - mean_abs_err: float, 平均绝对误差。
    """
    err = np.abs(y_true - y_pred)
    mean_abs_err = np.mean(err)
    return mean_abs_err

def mse(y_true: np.ndarray, y_pred: np.ndarray) -> float:
    """
    计算真实值和预测值之间的均方根误差。
    Parameters:
    - y_true: np.ndarray, 真实值。
    - y_pred: np.ndarray, 预测值。

    Returns:
    - mean_s_err: float, 均方根误差。
    """
    s_err = (y_true - y_pred) ** 2
    mean_s_err = np.mean(s_err)
    return mean_s_err

def rmse(y_true: np.ndarray, y_pred: np.ndarray) -> float:
    """
    计算真实值和预测值之间的均方误差的平方根。
    Parameters:
    - y_true: np.ndarray, 真实值。
    - y_pred: np.ndarray, 预测值。

    Returns:
    - root_mse: float, 均方误差的平方根。
    """
    mean_s_err = mse(y_true, y_pred)
    root_mse = np.sqrt(mean_s_err)
    return root_mse

示例

手写数字的分类

最古老和最完善的机器学习问题之一是识别手写数字的问题。该问题属于多类分类问题。输入数据由手写数字的图像组成，表示为包含每个像素强度的二维数组。在经典的 MNIST 数据集中，这些图像的大小为 $8\times 8$。

我们可以使用“sklearn”中的“load_digits”函数加载 MNIST。

from sklearn.datasets import load_digits
mnist = load_digits()

加载的结构具有字典数据类型。这本词典包含许多字段，您可以在其中找到其所包含数据的描述。

mnist.keys()

输出：dict_keys([‘data’, ‘target’, ‘frame’, ‘feature_names’, ‘target_names’, ‘images’, ‘DESCR’])

我们可以看到，图像以数组的形式呈现。我们可以使用“matplotlib”库从给定的强度数组中获取图像

import matplotlib.pyplot as plt
plt.imshow(mnist.images[0])

以通常的表示形式处理数据要容易得多，因此我们将使用“return_X_y”参数来获取它。在“True”位置，它启动以标准化形式检索数据。

X, y = load_digits(return_X_y=True)

让我们使用 sklearn.linear_model 模块中实现的逻辑回归，使用 LogisticRegression 类

让我们对数据进行以下转换：

• 将样本分为train和test
• 使用 StandardScaler 转换 train 和 test
• 让我们训练逻辑回归

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.preprocessing import StandardScaler


# 将数据分为训练和测试样本
X_train_set, X_test_set, y_train_set, y_test_set = train_test_split(X, y, test_size=0.1, shuffle=True)

# 数据预处理：特征缩放
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train_set)
X_test_scaled = scaler.transform(X_test_set)

# 逻辑回归训练
logistic_regression = LogisticRegression()
logistic_regression.fit(X_train_scaled, y_train_set)

输出：

现在让我们评估分类的质量。 sklearn 中的所有分类器都有一个用于质量评估的特殊函数 .score(x_test, y_test)。在基本情况下，使用accuracy_score来评估质量。

score = logistic_regression.score(X_test_scaled, y_test_set)
score

输出：
0.9666666666666667