langchain 基于ES的数据向量化存储和检索

中文向量化模型候选：

向量模型的各任务效果对比：

从零开始了解语义搜索中的嵌入模型-腾讯云开发者社区-腾讯云

 GitHub - shibing624/text2vec: text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。

1、sentence-transformers/all-MiniLM-L6-v2 处理的token数量，向量维度为384维，支持多种语言。语义表达较差

2、Text-embedding-ada-002 处理token数量<=6000，向量维度1536

2、BAAI/bge-m3

3、多语言模型：BAAI/bge-m3 支持的输入长度<=8192

向量索引构建： 向量近似查询的比较HNSW和OPQ：图像检索：OPQ索引与HNSW索引

 from langchain_community.embeddings im