【Mamba】详解(1) 【SSM理解】全网最简单版本

0.引言

最近mamba的大火确实是十分吸引眼球，我个人由于对流体力学，或者是SSM这个构件确实不是很理解，在学习Mamba的基础逻辑SSM的时候就出现了重大的挫折感，根本看不懂这个SSM公式，看不懂是自己的原因，激起了我的好胜心，所以在网络中对信息进行疯狂的检索，一顿补习。终于是搞定了，但是现阶段网络上资料的混杂看起来着实是垃圾堆翻金子，同样我也相信有些同学还是和我一样有着许多迷惑，所以我对各种困惑进行梳理，纳入到mamba详解的专栏作为后续mamba详解的基础分支，本文不存在过长的公式推导，可以放心使用。一定能让你看懂SSM。如果你觉得还不错的话，烦请点赞支持。

给自己打个广告，如果您对 Transformer 还不太了解，欢迎访问我的博客专栏，其中包含了丰富的NLP入门内容。即使您不是NLP领域的学者，这些内容对您深入理解深度学习和神经网络也大有裨益。点击这里学习更多。

此外，如果您对图神经网络的了解还不够深入，我建议您先阅读相关基础知识。点击此处，都是我的个人理解，简单易懂。话不多说，那咱们就开始今天的学习吧。

1. 针对SSM的疑惑？？

我先吐槽一下我在学习SSM过程中遇到的困难，不感兴趣的直接跳转下一节就行。

首先最让我不理解的就是这个下SSM的基础概念，我很难把它和深度学习进行联系。下面是wiki的概念展示：

状态空间模型（State Space Models，SSM）是一种数学模型，用于描述具有随时间变化的状态的动态系统。这种模型通常用于信号处理、控制系统和时间序列分析等领域。

作为一个程序猿说实话，没这种背景，太抽象了，又是系统又是状态的，然后冷不丁的给我俩公式，就说这是数学模型了。：

状态空间模型包含了两组主要的方程式：状态方程和观测方程。

状态方程描述了系统状态的时间演化

而观测方程描述了这些状态如何被观测到。

上面的这两个公式真是很抽象， 一个被称为状态方程一个被称为观测方程。你说我懂吧，我看起来像RNN。你说我不懂吧，一个公式的结果竟然是导数形式，难道仅仅想表示的撇吗 (更新的结果)？？不是导数。
带着一肚子的疑问。又是导数，而且最主要的是这两个公式好像和RNN的不一样啊，没法联系起来。似乎是两个独立的公式，之间没联系。但是相同的因变量用了两次，这不是脱裤子放屁吗？？？难懂。相同的数值使用不同的权重？？？确实不好理解。

到底是什么呢？？？？

然后我搜索了大多数的资料，大多数博文一开始都是试图的在解释这个状态空间？？？就是下图的这个，然后配上各种各样的问题就能给你讲明白。确实我水平有限真没没看懂是怎么个联系。当然我还是十分好学想看懂的，使图去理解下图，几经挣扎放弃了。

上述这个抽象的概念就是我检索到的全部内容，剩下的就是一大堆数学的证明。当然我觉得能用数学证明的都不会像我现在这样看到一个SSM蒙蒙的。

以上是我在学习SSM的全部困惑下面我们一点点的去理解这个东西到底是怎么回事。

2. RNN的理解

如果你要是对一个新事物。你出事阶段不是很了解那么你就需要一个简单粗暴的定义，然后不断的去修正它这样你就可以理解他了。

同样的咱们给他来一个简单粗暴的定义，SSM和RNN是基本上是一致的。具体的差异后面再说，前提是你要能理解RNN中的状态。

下面是在我之前博客中摘出来的RNN理解，感兴趣的同学可以看原文。

当然如果你对NLP感兴趣这是我一整套的技术精讲带你无痛深入学习NLP的全部技术。

先看什么是RNN：与传统的神经网络相比，循环神经网络（RNN）的特殊之处在于其结构中增加了循环部分。这个循环部分允许信息在网络的层级之间进行循环，使得网络能够处理序列数据，并且能够利用之前的信息来影响后续的处理和输出。这种设计使RNN具有了处理时序数据的能力，这在处理语言、音频、时间序列数据等问题时尤其有价值。

上图清晰展示了传统神经网络与循环神经网络（RNN）之间的区别。在传统神经网络中，输入信息会通过权重矩阵和激活函数进行处理，最终输出结果。相比之下，循环神经网络（RNN）在生成当前输出时，不仅考虑当前的输入信息 ，还会考虑另一个从W方块中传递过来的信息。实际上这部分保存的就是上一个时间步留下来的。 这种机制允许RNN在处理数据时，将过去的信息传递到当前步骤，从而更有效地处理序列数据。

上面图片过于抽象，按照输入的时间展开就是这样：

再直白一点就是这样的：

传统神经网络	循环神经网络	按时间方向展开RNN网络

$x$ 代表模型的输入，$x_t$ 代表在时间点 $t$ 的输入信息。$x_t$ 是一个向量，这与传统神经网络的输入方式相似。在时间点 $t$，状态 $s_t$ 是由当前时间的输入信息 $x_t$ 和上一时间点的隐藏层输出 $s_{t-1}$ 两部分组成。因此，我们可以得出模型的整体公式如下：

$$s_t=f(U{x}_t+W{s}_{t-1})$$

两部分输入整合：

$$O_t=g(V{s}_t)$$

计算输出结果，$fg$分别代表不同的激活函数。

不考虑最终的输出这个公式就是

$$s_t=tanh(U{x}_t+W{s}_{t-1})$$

如果咱们换一种表示符号，将 $s$ 作为状态表述成 $h$ 这个公式是什么样子呢？

$$h_t=tanh(U{x}_t+W{h}_{t-1})$$

仅仅是表述形式的上的不同，这里的目的是为了下面便于和这个SSM进行对比，各位不需要过多的纠结为什么换一个字符表示。仅仅就是将隐藏状态从使用 $s$ 改成了 $h$ 。

总之，RNN在序列中的每个时间步需要两个输入，即当前时间步 $t$ 的输入 $x_t$ 和上一个时间步 $t-1$的隐藏状态 $h_{t-1}$ 以生成t时的隐藏状态 $h_t$ ，最终预测输出 $y_t$。

大家停留下思考下这个RNN的行为，当前时间步的输出是由上一个时间步状态和当前的输入共同决定的理解！！！！

3. SSM的理解

在上一小节中，之前咱们简单粗暴的定义了SSM，并且学习了RNN。

我们知道两者肯定是不能百分百一致的

所以SSM就是控制系统领域的RNN当然肯定是存在差异，但是其处理事情的思想（当前时间步的输出结果依赖于之前信息或者状态和当前时间步输入）是一致的。

有了这样的一个理解我们再来看下面的这个SSM中的状态公式：

这和RNN好像没啥差别，咱们回忆下RNN的公式：

$$h_t=tanh(W{h}_{t-1}+U{x}_t)$$
忽略掉激活函数，好像就没差什么了，唯一的差别就是符号不一致，并且状态公式最终结果好 像是导数形式。

我们再来看SSM中对符号的定义是这样的：

• $h_t$: 表示系统在当前时刻的状态，是系统现状的完整表达。对应RNN中上一个时间步的状态
• $x_t$: 表示对系统状态进行转换的外部输入或指令，这些输入指导系统如何根据当前状态变化到下一个状态。对应RNN中当前时间步的输出

上面解释的是和RNN中一致的。比较好理解的内容，下面的$A$ 和 $B$各位试着去理解，我会在下一小节讲别急。

• $A$: 是系统内部的动态转移机制，可以视为一个“黑盒子”，它定义了在没有外部输入的情况下，系统状态是如何自然转换的。
• $B$: 则描述了外部输入 $x_t$ 如何影响状态转换的过程，它是外部指令与系统内部状态交互的桥梁。

3.1 SSM中 $A$ 和 $B$ 理解

前面 $h_t$ 和 $x_t$ 两个好像是很好理解和RNN意义对应就行，仅仅是没用RNN中 $k-1$ 的形式而已。

但是 $A$ 和 $B$ 理解似乎就看不懂了，什么是动态转移机制啊，什么是交互的桥梁，这哪有咱们RNN中的全连接进行特征提取好理解啊，

不卖关子，这就是。大多数人不理解SSM就是对$A$ 和 $B$ 和 $W$，$V$没法直接带入所导致的 。

首先俩人就不是一个东西，所以如果你带入就是不能理解的。 这就是SSM和RNN的重要区别，真正的理解RNN和SSM的区别也就是对$A$ 和 $B$的理解。再次强调一遍这就是SSM和RNN的最大区别。

记得前面一顿吐槽的SSM概念嘛，我们试图再次解释下：

状态空间模型（State Space Models，SSM）是一种广泛应用于信号处理、控制系统、 时间序列分析等领域的数学模型。它提供了一种有效的方式来 表示动态系统的内部状态 ，并通过模型可以 预测或控制系统的未来行为。

信心满满的看还是不咋懂对吧？？？？

重头戏来了下面的例子一定要搞懂

首先SSM提到这个是控制系统领域进行的数学模型，就是对一个系统进行数学的建模呗。
所以我们举例子用控制系统。电脑就是一个简单的控制系统。如果你的电脑开机你不进行任何输入那么我可以说电脑是静止的嘛？？显然不能其内部状态随着时间发生变化(政治中一个理论不存在没有决定的静止)。但是这个变化好像不是随机的吧一定是按照某种设定的规则，即使电流在设定好的CPU中的流动(例子可能不是很严谨但是传达的是一种理解)。所以我们说 $h_t$ 是电脑的现在的状态 $A$ 就是指导 $h_t$ 如何走到下一个状态(简单的理解 $A$ 就是让 $h_t$ 变态的教程)，时间在变化这个系统状态也在不断的进行，就是$A{h}_t$这个乘积操作一直在发生 。这个状态再改变同样就是表明电脑状态随着时间变化而变化嘛，思考一下在RNN中状态的变化是一个权重矩阵哈，这里则是 $A$。差异就是权重矩阵矩阵是学出来的。而A则是固定(通过各种先验知识构建的，如果比做电脑，当前的状态到如何到下一个时间的状态一定是人为设定的，所以这个 $A$ 是可以被设计出来的)。一个状态 $h_t$ 和一个 $A$ 做乘积就是通过 $A$ 的指导走入到了下一个状态，但是我们知道在RNN中当前时间的状态是由上一个时间步的状态和当前的输入一起决定的同样在SSM也是一样的。状态 $h_t$ 和一个 $A$ 做乘积确实是改变了下状态，但是这是静止的状态随着时间流逝发生的状态变化，系统是电脑就是要接受外部的指令啊，所以在静止状态发生变化时候外部还是输入信息同样也要改变这系统的状态，那就是状态的叠加呗。$x_t$ 是你输入的指令，但是电脑是听不懂的所以需要，通过$B$翻译成修改状态可以理解的行为。最后和当前状态一起得到了最终的状态。你现在在思考下这个过程，就是一个固定参数矩阵的RNN呗，简单粗暴的理解了。

有点难的地方是为什么等于 $h^{\prime }t$，直观理解这个和RNN的 $h_t$ 更新的状态是一致的，这就是物理层面的问题下面的这一段主要是解释为什么采用 $h^{\prime }t$不影响你对观测公式的理解，如果你的目的是弄懂这两个公式不在乎是不是导数，可以选择跳过回头再研究。

https://zhuanlan.zhihu.com/p/466790657 这个链接各位自行点开，是一个博主讲解的我才疏学浅。物理本身就不好所以各位自行阅读。

那么问题来了，电脑的内部状态可知嘛？你知道电流的流到哪里了吗？？？即使你知道 如何流动的，你能获取到的信息能力还是有限的。所以我们需要一个解释器告诉我们现在电脑怎么了，即我们实际上不知道电脑内部做了什么这个状态是怎么变换的，那咋办啊我怎么观测我自己的输入和反应啊。这就是第二个公式，通过输入你去看电脑的反应输出。从而观测电脑这个系统的目前的状态，所以这个公式被称为观测方程。

$h_t$ 是我们计算得到的计算的状态。而 $C$ 就是某种操作讲复杂的系统状态展示给我们看，比如显示器上将电脑的状态输出成待机等字样作为 $y_t$ 。我们就知道系统现在怎么了， $C$ 帮助我们去理解这个系统状态 $h_t$ ，去解释这个状态到底是咋回事。然后输出一个结果 $y$ 。我们明确了计算现在到底怎么了。同样我们也可以输入些数据给计算机检查计算机的输出从而对其现在的状态进行解释。$D$ 的作用就是解释这个输入行为让计算机理解然后和当前状态结和给出反应作为输出。

说了一大堆这就是为什么

状态方程描述了系统状态的时间演化

而观测方程描述了这些状态如何被观测到。

再详细总结下上面的例子讲解一下相关概念和过程：

状态方程的理解

在状态空间模型中，状态方程描述系统怎样从当前状态 $h_t$ 过渡到下一个状态 $h_t^{\prime }$。这里的 $A$ 矩阵可以视为是对系统内部如何按时间自发演化的一种描述，和你所说的电脑自动执行后台进程类似。如果没有外部输入（即 $x_t=0$），系统会根据 $A{h}_t$ 自我更新。

输入及其影响

而当考虑外部输入 $x_t$（如键盘输入、网络数据等），系统状态的更新就不仅仅是自身演化，而是还受到 $B{x}_t$ 的影响，其中 $B$ 矩阵定义了外部输入如何影响系统状态。这样的模型设计能够非常灵活地描述现实世界系统的运行和响应外部控制。

观测方程的角色

状态 $h_t$ 和更新 $h_t^{\prime }$ 虽然完整地描述了系统内部发生了什么，但这些信息很多时候对使用者来说是不可见的。此时需要观测方程 $y_t=C{h}_t+D{x}_t$ 来桥接内部状态和外部可观测的输出。这里：

• $C$ 矩阵作用是从整个系统状态中提取对用户有意义的信息。
• $D$ 矩阵（如果存在的话）解释了输入 $x_t$ 如何直接影响观测输出。

在电脑系统的例子中，$y_t$ 可以是操作系统显示的状态提示，如“待机”、“正在处理”等，这些都是内部复杂运算和状态的直观表现。

通过这样的模型设定，即使我们无法直接观测或理解内部所有细节和电流的具体流向，我们也能通过观测输出了解系统状态。这种方法不仅适用于控制系统，还广泛应用于经济模型、生态系统模型、工业控制等多个领域。通过理解这些基础概念，我们能更好地设计和分析各种实际应用中的动态系统。

3.2 观测方程为什么不用 $y_{t+1}$ 作为输入$x_t$ 的输出呢？

思考一下如果要是 $y_{t+1}$作为输入$x_t$ 的输出结果，很容易就让人想到是在计算模型的输出，而其实这个公式不是在计算模型的输出而是观测模型状态。

通过 $C$ 公式去解释这个状态。所以其不考虑这样的因果行为。这也就是为什么状态方程描述了系统状态的时间演化。观测方程描述了这些状态如何被观测到。总体而言其传输的思想是不同的。而在我查我的资料中大多数的观测公式实际上$D=0$ 就是只有前面的 $C{h}_t$这一项，这也是纯粹的观测，不是在计算输出的目的。

这种设计表明观测输出是基于当前或之前的系统状态，而不是预测未来的状态。

4. 概念总结

ok我想大家都明白了这个SSM的公式咱们再总结下，和其他博文接轨下。

在状态空间模型中，有两个基本的方程：状态方程和观测方程。这两个方程共同构成了模型的完整结构

状态方程

状态方程描述的是系统状态变量的演化过程，$$h_t^{\prime }=A{h}_t+B{x}_t$$ 就是一个典型的状态方程。这个方程解释了系统状态如何通过内部动力学（由 $A$ 表示）以及外部输入（由 $B$ 和 $x_t$ 表示）演进。状态方程关心的是系统内部的状态如何变化，但这些状态不一定都是可以直接观测到的。（状态可能看不到观测不到）

观测方程

观测方程则是用来描述怎样从系统的内部状态 $h_t$ 得到我们可以观测到的输出 $y_t$。一个简单的形式可能是：
$$y_t=C{h}_t+D{x}_t+v_t$$
其中:

• $C$ 是观测矩阵，它决定了内部状态如何映射到观测值。
• $D$ 是输入到输出的直接影响矩阵，不是所有模型都有这个部分。
• $v_t$ 是观测噪声，考虑到实际观测中的不确定性和误差。

为什么需要两个方程？

• 状态方程 提供了从一个时间点到下一个时间点系统状态的完整演算规则，但这些状态可能部分或完全不可观测。
• 观测方程 则提供了一个桥梁，将这些内部的、可能不可见的状态转换成外部可以测量的输出，即我们可以实际测量或观察到的数据。

再看看咱们那个简单粗暴的定义**SSM就是数学界的RNN当然肯定是存在差异，但是其处理事情的思想（当前时间步的输出结果依赖于之前信息或者状态和当前时间步输入）是一致的。**

差异部分在强调下

相似性

• 时间依赖性：SSM和RNN都是为了处理和预测具有时间依赖性的数据而设计的。两者都通过考虑前一时刻（或多个时刻）的状态来预测当前时刻的状态。
• 动态建模：两者都用于动态系统建模，可以表示一个系统状态随时间的进化。

差异

• 基础原理： SSM通常基于传统的数学和控制理论，其模型参数矩阵通常是明确定义的，并可依靠物理定律或经验公式进行建模， 侧重于系统模型的精确性和理论合理性。而RNN属于机器学习模型，通过数据驱动的方式，侧重于从大量数据中自动学习和提取时间序列的特征。
• 参数学习：RNN的参数（如权重和偏置）通常通过训练得到， 以 适应特定的数据模式。而SSM的参数（如状态转移矩阵和观测矩阵）往往是基于模型的物理意义定义的，尽管也有通过系统辨识的方法来估计这些参数，但这与机器学习中的训练过程性质有所不同。
• 解决方案：SSM通常通过解析方法或数值解法来处理和预测系统的行为，比如使用卡尔曼滤波等算法进行状态估计。而RNN则通过神经网络的前向传播和反向传播算法来优化其内部参数。

5. 状态空间的图

相信各位看完都已经对这个SSM有了一个相对比较全面的认识，但是我们似乎仍然没搞定为什么要用这个图来举例子解释这个SSM呢？？

我们来分析下上面这个图 $h_t$ 就是模型现在的状态，通过坐标和距离出口的距离标识这个状态，为什么被称为状态空间呢，就是为了解释其状态的形态就是有限的不是无穷的，所以我们可以看到状态坐标都是可以被全部标识的。潜在的状态就是模型状态可以通过修改状态到达的地方。

回到计算机的例子中我们知道计算机的状态，可以理解都是已知的，可控，实际上任何一个系统都是一样的，各种参数的排列组合都是有限的，实际上就是想传达一个状态可变但是在一个有限空间这样的理念。

为什么上图状态中还有一个距离出口多远的状态显示呢？？实际上如果是走迷宫的任务我们预期观察系统的状态的目的是为了走出这个迷宫。而在电脑系统的例子中我们期望通过操作来改变电脑的行为，同样都是需要即时反馈的我们观察到系统给的反馈确保我们的的操作距离最终比如我们打开某个软件还需要多少输入信息，从而对输入的行为进行修改。所以上述例子实际上隐含的信息还是比较多的，只不过不好理解，各位可以在此停留理解下这个内容。

6. SSM到底能做什么？？

在上文中我们提到了 “政治中一个理论不存在没有决定的静止”揭示了一个普遍的真理：无论是政治、物理学、生物学还是工程学中的系统，都不会存在完全静止或不变的状态，总是在不停地发生变化。这种普遍性在科学和工程的不同领域得到了广泛的应用和验证，特别是在动态系统的建模和分析中。这样的理论之所以可以应用到各种各样的模型系统中主要是其对这个理论的洞察，确实很多时候各种思想之间在更高的维度都是相通的。

说人话就是要建模一个系统就是要确保其在时间维度上的事动态的。

多学科的统一性
这一概念在不同的学科中表达可能不同，但其核心思想是一致的：

• 物理学中，牛顿的运动定律说明物体状态的改变由力引起。
• 生物学中，生态系统和生物种群不断地适应环境变化。
• 政治学中，政策和决策不断应对社会经济的变动。
• 工程学和控制系统中，系统模型需要响应外界输入和内部状态变化。

状态空间模型的适用性
这种对变化的普遍理解是状态空间模型（SSM）被广泛应用于各种系统的原因。SSM提供了一种结构化的方式来描述系统状态如何因内在动力和外部输入而变化。这种模型的灵活性和强大功能，使其能够跨越不同领域，提供有效的工具来理解和预测系统行为。

认识到各种系统的不停变化和发展，以及学习如何利用这些变化来建模和预测，是科学和工程领域中一个非常重要的视角。这不仅有助于我们更好地理解周围的世界，也为处理复杂的全球性问题提供了工具和思路。

7. 结论

这仅仅是Mamba详解(1) 【SSM理解】，如果你对这样的讲解方式觉得有趣，喜欢。欢迎催更。如果帮助到你十分荣幸。

对这些内容感兴趣的朋友们，通过点赞、收藏和关注来表达你们的支持是对我的极大鼓励。

如果你感觉还不错的话也可以打赏一杯咖啡钱，非常感谢大家！有任何问题或建议，欢迎随时通过私信评论与我交流。期待你们的反馈。