Milvus 实践(1) --- 文本-图片交互式search搭建及原理

目录

背景

训练素材

download

torchvision 简介

python代码

执行结果

模型训练

模型训练参数

训练模型

注意事项

模型加载

录入vectorDB

使用预加载的模型参数对图片进行编码

录入milvus

查询效果

查询编码

milvus search

模型适用列表

总结


背景

应该说Milvus 在2.4以上版本提供了一个 collection 放多个 vector db 的功能,并在之上 query 时,可以结合多个不同的query weights 给出综合性得分。但是不是一定要用这个功能才可以完成图片与文本的交互式搜索?答案肯定是否定的。从CLIP的原理上来说,就是 txt 与 pic 映射到相同维度的一个向量空间,只要让 txt 与对应的 pic 的 similarity 足够小,与不mapping 的pic simlairty足够大就好,于是本着这个思路,我们看看怎么实现。

训练素材

download

首先下载 

pip install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

torchvision 简介

Torchvision是Pytorch中一个开源的机器学习框架,专门为计算机视觉任务设计和优化。它提供了多种功能来支持计算机视觉项目的开发和实验。

简要来说有如下的功能:

数据加载与处理:

Torchvision提供了torchvision.datasets模块,其中包含了许多常用的计算机视觉数据集,如CIFAR-10、CIFAR-100、ImageN

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

PhoenixAI8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值