使用中文tokenizer和BlipForConditionalGeneration实现中文image caption

原创 已于 2024-09-11 09:04:41 修改 · 293 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉

于 2024-09-01 19:54:28 首次发布
from transformers import BlipProcessor, BlipTextConfig
from transformers.models.blip.modeling_blip_text import BlipTextLMHeadModel
from transformers import AutoTokenizer


model = BlipForConditionalGeneration.from_pretrained("huggingface.co/Salesforce/blip-image-captioning-base")

实际训练的时候就可以用BERT的tokenizer处理encode和decode

bertTokenizer
最低0.47元/天 解锁文章

200万优质内容无限畅学
[linux-sd-webui]图生文，blip/deepdanbooru
liguandong
05-11 3258
同步发布在我的博客 https://blog.thisis.plus/2023/04/22/clip_interrogator%E6%95%99%E7%A8%8B/文字生成图片是近年来多模态和大模型研究的热门方向，openai提出的CLIP提供了一个方法建立起了图片和文字的联系，…blip是个多模态的视觉-语言模型，在webui中使用了blipv1，目前blip已经有v2版本了，deepbooru适合二次元的场景，除此之外的场景建议使用blip，blip有两个版本，，还有一个原作者团队整合的。
图像字幕生成：使用CNN和LSTM模型在MSCOCO数据集上进行任务
走向CTO的路上...
12-24 525
图像字幕生成是一项将图像内容自动转换为自然语言描述的任务。这项技术结合了计算机视觉和自然语言处理领域，主要用于帮助视觉障碍者、增强搜索引擎能力以及社交媒体内容管理等场景。图像字幕生成是一个复杂而有趣的任务，结合了计算机视觉和自然语言处理的技术。通过使用CNN提取图像特征和LSTM生成序列，我们能够为图片提供合理的文字描述，从而提高其可访问性和可理解性。
训练BlipForConditionalGeneration
Love-Coding
09-01 360
【代码】训练BlipForConditionalGeneration。
多模态图生文模型lora微调Blip2ForConditionalGeneration
weixin_40777649的博客
12-06 3151
在该过程中，图像和文本一起经过Qfromer的bert，将文本的token id和query一起embeding和图像进行交互，此过程中query的图像和文本可以互。该过程中query和文本互相看不见，避免了query直接从文本学习信息，如果query直接从文本学习，这样query就学不到图像信息，对比学习也就没有意义了。即解码时文本可以看到图像信息和解码过的文本信息，但是图像看不到文本，解码时看着文本和图像一起进行解码，这样模型预测的文本可。这是一个分类任务，判断图像和文本描述是一对，是为1，否则为0。
BLIP使用教程
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
06-04 5802
BLIP hugface API调用demo
使用blip图像生成描述
weixin_62460336的博客
12-25 1177
【代码】使用blip图像生成描述。
调用Blip image tokenizer实现image2text
Love-Coding
08-22 221
【代码】调用Blip image tokenizer实现image2text。
Python与强化学习：提升生成式AI模型表现
二进制的梦想
01-02 696
强化学习（Reinforcement Learning, RL）是一种基于奖励信号的学习方法。在RL中，智能体（Agent）通过与环境的交互学习如何采取行动，以最大化某个长期奖励。与监督学习不同，强化学习不依赖于标签数据，而是通过奖励信号指导智能体的行为。智能体根据当前的状态选择一个动作，然后根据环境的反馈调整策略，最终目标是找到一个策略，使得累积奖励最大化。环境（Environment）：智能体与之交互的外部世界，环境会根据智能体的动作反馈奖励。智能体（Agent）：做出决策并采取行动的主体。
img = Image.open(os.path.join(os.path.dirname(__file__), "IMG", "img.jpg"))
最新发布
06-26
image'或类似字段的字典，但文本模型不需要#正确示例：使用tokenizer仅处理文本inputs=tokenizer(prompt,return_tensors="pt")```####方法3：使用多模态模型如果确实需要同时处理图像和文本，那么应该选择一个支持多...
NLP实践——VQA/Caption生成模型BLIP-2的应用介绍
热门推荐
weixin_44826203的博客
02-16 1万+
本文介绍最新的图文生成模型BLIP-2，从下载安装到简单的应用。
【计算机视觉】BLIP：源代码示例demo（含源代码）
wzk4869的博客
07-31 3328
【计算机视觉】BLIP：源代码示例demo（含源代码）
用Python给图片加描述：小学生都能懂的图像描述生成教程
engchina的专栏
12-26 1742
用Python给图片加描述：小学生都能懂的图像描述生成教程
BartForConditionalGeneration的使用细节
说文科技，做有态度的研究。
11-24 4852
详细介绍BartForConditionalGeneration的代码细节，同时给出一些疑难杂症点。
[BLIP]-多模态Language-Image预训练模型
yangyanbao8389的博客
11-18 4584
学习MoCo思想，引入momentum encoder和Queue扩大对比学习的batch大小，base encoder用于梯度更新产生新的embedding，momentum encoder根据以下公式更新，k表示momentum encoder参数，q表示base encoder参数，主要为了提升embedding的一致性，维持队列大小，将最新的embedding入队列，弹出队列头embedding。最后，论文将过滤后的图像-文本对与人工标注的文本对结合起来，形成一个新的数据集用它来预训练一个新模型。
BLIP论文笔记
weixin_51252109的博客
06-04 2372
Vision-Language Pre-training(VLP)已经提高了许多vision-language tasks的性能，但是：BLIP可以以zero-shot的方式直接转移到video-language tasks上使用visual transformer作为image encoder，将输入的图像划分为patches并且将他们编码为一系列embeddings，并用额外的[CLS] token来表示图像的全局特征。并且对于视觉特征提取来说，使用visual transformer比使用pre-tr
import cv2 报错 Segmentation fault (core dumped)
Love-Coding
01-11 3561
重新把python装了一遍 以及按照这个把opencv装了一遍 http://blog.csdn.net/daunxx/article/details/50506625
cv2 安装 | ImportError: No module named cv2
Love-Coding
03-22 2463
yum install opencv-python opencv-devel 然后下载opencv的zip，make了， 然后参考下面的方法做了 https://github.com/rbgirshick/fast-rcnn/issues/92 应该python就能import cv2了
报错，operator torchvision::nms does not exist
Love-Coding
10-25 2309
torch和torchvision都要安装gpu版本，或者两个都是cpu版本，
可视化roadhackers的h5图片数据
Love-Coding
01-13 1644
import cv2 import numpy as np import h5py f = h5py.File('135.h5', 'r') dset = f['1458552843.750'] data = np.array(dset[:,:,:]) file = 'test.jpg' cv2.imwrite(file, data)
能提供一下bert模型image caption任务实现代码吗？
01-11
input_ids = [tokenizer.encode(caption, add_special_tokens=True) for caption in captions] input_ids = torch.tensor(input_ids).long() # Set the model to eval mode model.eval() # Generate captions with...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

-Love-Coding-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值