Bert-whitening 向量降维及使用

loong_XL

已于 2022-08-27 09:49:10 修改

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签： bert python 机器学习

于 2022-06-24 10:45:53 首次发布

本文链接：https://blog.csdn.net/weixin_42357472/article/details/125441181

深度学习专栏收录该内容

339 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Bert模型进行向量降维，参考了多个技术资源，包括在线文章和知乎专栏。核心操作是将三维矩阵的向量通过特定的kernel和bias进行transform_and_normalize处理，实现单个向量的降维，适用于线上环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：https://kexue.fm/archives/8069
https://kexue.fm/archives/9079
https://zhuanlan.zhihu.com/p/531476789

输入：vv是多个向量组成的三维矩阵
在这里插入图片描述
结果：v_data1 256维度


def compute_kernel_bias(vecs, n_components=256):
    """计算kernel和bias
    vecs.shape = [num_samples, embedding_size]，
    最后的变换：y = (x + bias).dot(kernel)
    """
    mu = vecs.mean(axis=0, keepdims=True)
    cov = np.cov(vecs.T)
    # print(cov)
    u, s, vh = np.linalg.svd(cov)
    print(np.diag(1 / np.sqrt(s) ))
    W = np.dot(u, np.diag(1 / np.sqrt(s)))
    return W[:, :n_components], -mu


def tra

了解本专栏