Word2Vec模型解析：CBOW与Skip-gram-CSDN博客

本文链接：https://blog.csdn.net/xiaoQL520/article/details/102510054

本文详细介绍了Word2Vec的概念，重点讲解了CBOW和Skip-gram模型的工作原理，包括它们的流程、区别以及训练优化方法。此外，还提到了gensim中word2vec API的重要参数设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Word2Vec是什么？

Word2Vec是用一个浅层神经网络将稀疏的词向量映射成为稠密向量的过程。

２.Word2Vec注重的不是模型，而是模型的参数。

word2vec的思路与自编码器(auto-encoder)的思路比较相似，都是先基于训练数据构建一个神经网络。当这个网络训练好以后，我们并不会利用这个训练好的网络处理新任务，我们真正需要的是这个模型通过训练数据所学得的参数。

３.Word2Vec的CBOW模型和Skip-gram模型

３.1 CBOW(Continuous Bag-of-Words Model)模型

ＣＢＯＷ模型是根据中心词的前C个或者后C个连续背景词来计算中心词出现的概率。

其具体流程为：

词向量最简单的方式是1-of-N的one-hot方式，在上图中：
（１）Input layer输入层：是上下文单词的one hot。假设单词向量空间的维度为V，即整个词库语料大小为V，上下文单词窗口的大小为C。
（２）图中W为权值共享矩阵，假设最终词向量是N维，则W的大小为 V * N，并将赋值初始化。
（３）假设语料中有一句话”我爱你”。如果我们现在以”爱”这个词为中心词，令C=2，则其上下文为”我”,”你”。模型把”我” “你”的onehot形式作为输入，其大小为1*V。C个1*V大小的向量分别跟同一个V * N大小的权值共享矩阵W相乘，得到的是C个1*N大小的隐层hidden layer。
（４）C个1*N大小的hidden layer取平均，得到一个1*N大小的向量，即图中的Hidden layer。
（５）输出权重矩阵W’为N*V，并对其进行相应的初始化工作。
（６）将得到的Hidden layer向量 1*N与输出矩阵W’相乘，再用softmax处理，得到1*V的向量，此向量的每一维代表语料中的一个单词。概率中最大的index所代表的单词为预测出的中心词。
（７）求loss function的的极小值。

其具体步骤可总结为下图：