卷积神经网络在图像和声音识别中的应用

### 卷积神经网络在图像和声音识别中的应用 #### 1. 加载和使用模型 在深度学习中，我们可以使用`summary()`方法查看模型的结构，通过调用`predict()`方法进行推理，使用`evaluate()`方法评估模型的准确性，甚至可以使用`fit()`方法对模型进行重新训练。如果需要，还能再次保存模型。 在浏览器环境中同样可以使用保存的模型文件在网页中重建模型。重建后的模型支持完整的`tf.LayersModel()`工作流程，但如果要重新训练整个模型，由于增强卷积神经网络的规模较大，会非常缓慢且低效。 在浏览器中加载模型与在`tfjs-node`中加载模型的根本区别在于，在浏览器中应使用除`file://`之外的URL方案。通常，可以将`model.json`和`weights.bin`文件作为静态资产文件放在HTTP服务器上。例如，假设主机名是`localhost`，文件位于服务器路径`my/models/`下，可以使用以下代码在浏览器中加载模型： ```javascript const loadedModel = await tf.loadLayersModel('http:///localhost/my/models/model.json'); ``` 在浏览器中处理基于HTTP的模型加载时，`tf.loadLayersModel()`会在底层调用浏览器的内置`fetch`函数，具有以下特点和属性： - 支持`http://`和`https://`。 - 支持相对服务器路径。实际上，如果使用相对路径，可以省略URL的`http://`或`https://`部分。例如，如果网页位于服务器路径`my/index.html`，模型的JSON文件位于`my/models/model.json`，可以使用相对路径`model/model.json`： ```javascript const loadedModel = await tf.loadLayersModel('models/model.json'); ``` - 若要为HTTP/HTTPS请求指定额外选项，应使用`tf.io.browserHTTPRequest()`方法代替字符串参数。例如，在加载模型时包含凭证和头部信息，可以这样做： ```javascript const loadedModel = await tf.loadLayersModel(tf.io.browserHTTPRequest( 'http://foo.bar/path/to/model.json', {credentials: 'include', headers: {'key_1': 'value_1'}})); ``` #### 2. 语音单词识别：卷积神经网络在音频数据上的应用 到目前为止，我们已经了解了如何使用卷积神经网络执行计算机视觉任务。但人类的感知不仅仅局限于视觉，音频也是一种重要的感知数据模态，并且可以通过浏览器API访问。那么，如何识别语音和其他声音的内容和含义呢？令人惊讶的是，卷积神经网络不仅适用于计算机视觉，还能在音频相关的机器学习中发挥重要作用。 ##### 2.1 任务描述 我们将使用一个类似于为MNIST构建的卷积神经网络来解决一个相对简单的音频任务，即将短语音片段分类到大约20个单词类别中。这个任务比亚马逊Echo和谷歌Home等设备中的语音识别系统要简单。那些系统涉及更大的词汇量，并且处理连续的多个单词组成的语音，而我们的示例一次只处理一个单词。因此，我们的示例更准确地说是一个“单词识别器”或“语音命令识别器”，但它仍然有实际用途，如免提用户界面和无障碍功能，并且其中的深度学习技术是更高级语音识别系统的基础。 ##### 2.2 频谱图：将声音表示为图像 在任何深度学习应用中，若要理解模型的工作原理，首先需要理解数据。为了理解音频卷积神经网络的工作原理，我们需要先了解如何将声音表示为张量。从高中物理知识可知，声音是气压变化的模式。麦克风拾取气压变化并将其转换为电信号，计算机的声卡再将其数字化。现代网页浏览器具有WebAudio API，它与声卡通信并在用户授权的情况下提供对数字化音频信号的实时访问。从JavaScript程序员的角度来看，声音是实值数组，在深度学习中，通常将其表示为一维张量。 你可能会疑惑，我们之前看到的卷积神经网络如何处理一维张量，它们不是应该处理至少二维的张量吗？卷积神经网络的关键层，如`conv2d`和`maxPooling2d`，利用二维空间中的空间关系。实际上，声音可以表示为一种特殊类型的图像，即频谱图。频谱图不仅使卷积神经网络能够应用于声音，而且在深度学习之外也有理论依据。 频谱图是一个二维数组，可以像MNIST图像一样以灰度图像的形式显示。其水平维度是时间，垂直维度是频率。频谱图的每个垂直切片是短时间窗口内声音的频谱，频谱是将声音分解为不同频率成分的结果，可以大致理解为不同的“音高”。就像光可以通过棱镜分解为多种颜色一样，声音可以通过傅里叶变换这一数学运算分解为多个频率。简而言之，频谱图描述了声音的频率内容在一系列连续的短时间窗口（通常约为20毫秒）内的变化。 频谱图是声音的一种合适表示，原因如下： - **节省空间**：频谱图中的浮点数数量通常比原始波形中的浮点数数量少几倍。 - **符合生物学听觉原理**：内耳中的耳蜗结构本质上执行了生物版本的傅里叶变换，将声音分解为不同频率，然后由不同的听觉神经元拾取。 - **便于区分不同语音**：语音频谱图的表示使不同类型的语音更容易区分。例如，元音和辅音在频谱图中有不同的特征模式。几十年前，在机器学习广泛应用之前，从事语音识别的人员曾试图手工编写规则从频谱图中检测不同的元音和辅音，而深度学习避免了这种繁琐的工作。 MNIST图像和语音频谱图数据集有相似之处，它们都包含二维特征空间中的模式，经过训练的人眼应该能够区分；特征的具体位置、大小和细节都有一定的随机性；并且都是多类别分类任务。MNIST有10个可能的类别，而我们的语音命令数据集有20个类别（0到9的10个数字、“up”、“down”、“left”、“right”、“go”、“stop”、“yes”和“no”，以及“未知”单词和背景噪声类别）。正是这些数据集本质上的相似性，使得卷积神经网络适用于语音命令识别任务。 不过，这两个数据集也有明显差异。语音命令数据集中的音频记录有一定的噪声，从频谱图中的一些不属于语音的暗像素斑点可以看出；而且语音命令数据集中每个频谱图的大小为43×232，比单个MNIST图像的28×28大得多，并且频谱图在时间和频率维度上的大小不对称。这些差异将体现在我们用于音频数据集的卷积神经网络中。 以下是定义和训练语音命令卷积神经网络的代码，可通过以下命令访问代码： ```bash git clone https://github.com/tensorflow/tfjs-models.git cd speech-commands/training/browser-fft ``` 模型的创建和编译封装在`model.ts`文件的`createModel()`函数中： ```javascript function createModel(inputShape: tf.Shape, numClasses: number) { const model = tf.sequential(); model.add(tf.layers.conv2d({ filters: 8, kernelSize: [2, 8], activation: 'relu', inputShape })); model.add(tf.layers.maxPooling2d({poolSize: [2, 2], strides: [2, 2]})); model.add(tf.layers.conv2d({ filters: 32, kernelSize: [2, 4], activation: 'relu' })); model.add(tf.layers.maxPooling2d({poolSize: [2, 2], strides: [2, 2]})); model.add( tf.layers.conv2d({ filters: 32, kernelSize: [2, 4], activation: 'relu' })); model.ad ```