InstructPix2Pix：指挥机器修改图像

已于 2023-02-28 11:16:39 修改
阅读量1.1k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 机器学习 预训练模型
于 2023-02-28 11:15:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44839084/article/details/129257702
InstructPix2Pix是一种基于GPT-3和StableDiffusion的模型，能根据文本指令对图像进行编辑，如替换对象、改变风格等。该模型生成了450,000条训练数据，并能在一次前向传递中执行编辑，无需额外微调。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

出品人：Towhee 技术团队 王翔宇、顾梦佳

InstructPix2Pix 提出一种让机器根据人类指令修改图像的方法，即输入图像与文字指令，模型就能遵循这些指令编辑给定的图像。 为了获得该任务的训练数据，InstructPix2Pix 结合了两个大规模预训练模型（GPT-3 和 stable diffusion）的知识来生成图像编辑示例的大型数据集，共包含 450,000 条数据。InstructPix2Pix 能够实现直观的图像编辑，可以遵循人类指令执行多种编辑，包括替换对象，改变图像的风格，改变环境，艺术媒介等。

InstructPix2Pix

InstructPix2Pix 主要内容包括为图像编辑生成数据集，并使用该数据集训练一个扩散模型。它首先利用微调后的 GPT-3 模型生成指令和编辑好的文字描述。然后结合 StableDiffusion 和 Promptto-Prompt，模型会根据文字描述对生成图像对。InstructPix2Pix 可以直接在前向传递中执行图像编辑，不需要任何其他额外数据进行微调。

相关资料：

Zilliz Planet
关注
博客
直播预告丨从码农到 B 站百万播放 KOL！技术人转型传播秘籍大公开
08-19 156
为了方便大家的交流以及技能的分享，我们组织了北辰使者说这个栏目。两位嘉宾会结合真实经历，从 “如何与 Milvus 结缘、开启社区参与” 讲到 “码农必备的 KOL 意识”，更会揭秘百万播放爆款《鲁迅说没说》（直播最后还设有 Q&A 自由讨论环节，你可以现场提出技术传播、开源参与的困惑，与嘉宾深入交流，找到适合自己的转型方向。同时，还会分享 Milvus 北极星计划的参与体会，给想入局开源与技术传播的朋友实用建议。欢迎大家锁定直播间，和我们一起解锁技术人 “破圈” 新路径，让你的技术价值被更多人看见！
博客
Word2Vec、 BERT、BGE-M3、LLM2Vec，embedding模型选型指南｜最全
08-15 642
混合类型” 是近年的创新方向，如 BGE-M3 能生成包含稠密向量、稀疏向量，以及多向量表示 —— 即使文本中未出现 “机器学习”，模型也能通过语义推理在向量中赋予该术语一定权重，既保留了关键词匹配的精确性，又增强了语义理解能力。稀疏向量：通过线性变换与 ReLU 激活，生成包含 “相关术语权重” 的稀疏表示，即使文本中未出现某术语，模型也能通过语义推理赋予其权重（如 “iPhone 新品” 会关联 “苹果公司”“智能手机” 等术语）。Embedding 的本质是从非结构化数据到计算机语言的 语义翻译。
博客
报名倒计时丨8月23日南京Unstructured Data Meetup火热招募中
08-13 147
Unstructured Data Meetup 是以非结构化数据和 GenAI为主题，面向开发者的技术分享线下聚会，该活动源自硅谷，由向量数据库领先者 Zilliz 创办。我们致力于通过 Unstructured Data Meetup，让更多非机构化数据和 GenAI 开发者共聚一堂，共同探索行业最新进展。快扫描下方二维码报名参加，让我们一起开启非结构化数据的新篇章，探索 AI 的无限可能！8月23日，南京场Unstructured Data Meetup 将在。日13:00-17:30，
博客
LLM、RAG、workflow、Agent，大模型落地该选哪个？一个决策矩阵讲透
08-13 1035
当任务满足 “三可” 条件 —— 可拆解（子任务间耦合度越小越好）、可验证（每个子任务结果可独立校验）、成本可控（预期 ROI够高，可以打平token消耗成本）时，可尝试 multi - agent；以智能客服为例，可通过 Workflow 实现 “用户提问→意图识别→任务分配” 的标准化分流，再让 Agent 处理具体任务中的动态决策（如 根据用户历史订单推荐退款方案），依此降低人工干预频率，兼顾稳定可控与场景适应能力。若仅是处理单篇长文档（如万字报告分析）且对成本不敏感，可短期依赖长上下文大模型。
博客
最佳实践|Zilliz 如何助力MiniMax的AI落地与预训练数据管理
08-06 768
但通常来说，这数百亿文档中会存在大量重复冗余内容，不仅浪费计算资源，更导致大模型反复“咀嚼”相同的知识，在重复内容上过拟合，降低了对新信息的泛化能力。其中，MinHash 负责将文档压缩为签名（目前，MinHash 向量，需要用户自己生成），LSH 负责高效缩小搜索空间，从而快速定位潜在重复，帮助企业完成百亿级语料下的预处理优化。更关键的是，这些数据并不是静态的。为此，我们不仅需要更大的计算资源，也对非结构化数据的管理提出了更高的要求，对应的数据存储、处理、传输和检索系统升级已经迫在眉睫。
博客
Milvus × 联想：向量数据库如何让制造业库存周转率提升10%
07-31 1016
要补的话，补多少才合适？早期我们主要靠人工加正则表达式，从这些描述里提取关键词来判断机型，但部分物料的模糊匹配准确率并不理想，而随着物料越来越多、描述越来越乱，这套方法不仅效率低，出错率还不小，维护起来也特别头大。更重要的是，大家不仅能回忆当初，还能基于数据做出更扎实的总结和判断，帮助采购团队精准制定补货策略，避免缺货风险，同时控制好库存规模，提升资金效率。有了这个基础，不管是老物料还是新物料，只要录入信息，就能通过相似度检索快速找到最像的那类物料，然后一键分类搞定，效率和准确率都上了一个台阶。
博客
Milvus北辰使者的来信：Milvus Workshop是什么，我们为什么做这件事
07-25 904
Milvus Workshop 通过提供结构化、动手实践的学习体验，为用户在其 AI 和 ML 项目中充分利用 Milvus 提供了入门指南。它通过提供丰富的教程、示例代码和实践项目，降低 Milvus 的学习门槛，帮助开发者更高效地掌握和应用向量数据库技术。社区协作需求：开发者希望有一个开放的平台，可以分享 Milvus 的使用经验、案例和最佳实践。促进社区协作：鼓励开发者贡献自己的案例、工具和经验，打造一个活跃的 Milvus 学习社区。Milvus 的崛起与社区需求。Milvus北辰使者。
博客
直播预告丨运维部署有妙招！Milvus 稳定运行秘籍大公开
07-24 225
刘川丰将结合实战经验，详解 Milvus 运维部署的最佳实践，助力大家解决日常运维中的痛点问题，让 Milvus 运行更稳定高效。欢迎大家锁定 Zilliz 视频号直播间，和我们一起探索 Milvus 运维部署的门道，提升 Milvus 使用体验！客户催上线，老板一句“今天下班前搞定”，你却要手动改一堆 YAML、调资源、配高可用、还得盯着监控别挂了服务？更有自由讨论环节开放提问，现场提出在 Milvus 运维部署中遇到的困惑，与讲师深入交流。7 月 31 日 20:00-21:0。
博客
ES vs Milvus vs PG vector :LLM时代的向量数据库选型指南
07-17 910
但只有开源是不够的，大型开源项目的迭代维护是需要很高的人力投入，单靠个人开发者几乎无法支撑，业界知名的数据服务相关的开源项目，比如Spark、MongoDB、Kafka，背后都是有成熟的商业化公司在运营。在此基础上，VDB的商业化方案，则应该保持云中立，在保证弹性、低运维投入的基础上，能满足不同业务、不同地区产品，以及不同阶段企业的多样化需求。Top-K相似性检索是最常见的向量检索需求，但除此之外过滤检索、阈值检索、分组检索和混合检索，也是一个企业级向量数据库的必备功能。互联网时代，关系型数据库为王。
博客
实战|从grok4与kimi2谈谈，大模型进入十万亿训练数据时代，如何做数据查重
07-15 995
但一个问题是，来自公域互联网的这些预训练数据中往往会存在大量重复冗余内容，如果将其一股脑不加选择的用于预训练，不仅浪费计算资源，更会导致大模型反复“咀嚼”相同的知识，在重复内容上过拟合，降低了对新信息的泛化能力。根据IDC的预测，到2027年，全球范围内，没有统一格式、缺乏明确定义字段的非结构化数据，总量将达到近250ZB，占比达到整体数据总量的86.8%。（2）能用上Minhash LSH的场景，通常是针对百亿、千亿甚至万亿数据的查重，这对服务背后的性能、工程化能力全都提出了极为苛刻的要求。
博客
直播预告丨解锁运维部署最佳实践，让你的 Milvus 更稳定！
07-14 439
刘川丰将结合实战经验，详解 Milvus 运维部署的最佳实践，助力大家解决日常运维中的痛点问题，让 Milvus 运行更稳定高效。欢迎大家锁定 Zilliz 视频号直播间，和我们一起探索 Milvus 运维部署的门道，提升 Milvus 使用体验！客户催上线，老板一句“今天下班前搞定”，你却要手动改一堆 YAML、调资源、配高可用、还得盯着监控别挂了服务？更有自由讨论环节开放提问，现场提出在 Milvus 运维部署中遇到的困惑，与讲师深入交流。7 月 31 日 20:00-21:0。
博客
推出了四个MCP后，我们发现MCP的落地速度已经赶不上吹牛速度
07-08 705
目前已经支持使用英语、中文、西班牙语等语言与数据库交互，例如：“查找与该产品描述相似的文档” 或 “创建一个存储 512 维图像嵌入的集合”，“创建一个免费的 Milvus 集群”，用户无需打开控制台，也不需要配置细节，即可获得即用型数据库实例。更直白来说，MCP本身很好，但大模型在精准理解人类意图环节就出了问题，或者大模型本身在执行过程中有幻觉，那MCP自然也无法满足需求。开发成本降低，大模型的工具使用能力增加，过去一些繁琐专业的操作，可以借助大模型以自然语言交互的方式来完成。
博客
超级黑马Read AI如何在美国把会议转录做成一门大生意
07-07 933
Assistant（会议助手）：自动加入 Zoom、Meet、Teams 等会议，实时收集发言、注意力、情感、发言频率等互动数据，自动记录每个发言人的“语气”和“情绪走势”（这是其核心功能，也是其争议来源）。Read AI 选择扩充其产品矩阵：日历同步、CRM同步、邮件汇总、即时通讯汇总、视频会议汇总功能依次上线，基于以上数据，Read AI又推出了会议总结、会议分析、多平台信息检索等功能，从前，用户要自己提问，才能得到回应。此外，用户要的不是原话，而是理解：他想知道，客户是不是在动摇；
博客
我们是向量数据库的领军企业，我们在等你来
07-03 1068
回顾历史，过去四十年的PC时代，如何更好的管理基础数据，诞生了Oracle这样三万亿（RMB）市值的巨头；目之所及，所有你听过的全球知名企业：英伟达、苹果、OpenAI、PayPal、AWS、微软、Google、阿里云……2. 精通Pulsar/Kafka/RabbitMQ、Etcd/Zookeeper等主流中间件系统的应用、排障、调优，并具备一定的二次定制能力。很显然，面对人工智能这样一个更广阔的市场，非结构化数据这样一个更大的蓝海，我们关于未来的想象力，不止于此。
博客
深度分析 | 自动驾驶数据挖掘的三座大山与向量数据库胜负手
07-03 1121
在自动驾驶算法持续迭代的背景下，Zilliz 允许对已有数据的 embedding 进行批量替换，配合 alias 机制可帮助业务在无感切换模型的同时保持数据查询的稳定性：Zilliz 支持同时写入由不同模型生成的向量，并可通过混合搜索（hybrid search）对多向量列进行检索，为模型对比和联合分析提供便利。同一时期，作为国内智驾投入最为激进的车企，小鹏正式宣布，面向智驾经验用户即刻推送无限XNGP智能辅助驾驶功能，并且，该功能将不限城市、不限路线，有导航的地方就能使用。
博客
G2发布最新向量数据库报告，Zilliz斩获最佳性能与最易用荣誉
07-02 788
举个简单的例子，很多向量数据库的报告，主要看的还是一些古早Benchmark测评数据，但这些Benchmark通常会做出一些不切实际的假设：比如，所有数据默认已经全部导入，索引已经完全建立。此外， Zilliz Cloud还提供了“易于使用的仪表盘和 API，用于数据库管理和监控”，以及简洁明了的文档体系，便于用户上手。从应用广度来看，向量数据库的场景仍在不断横向拓展，从RAG建设、知识库构建，搜索、推荐，再到生物制药、大模型数据管理、自动驾驶数据挖掘，每一个场景都有着完全不同的成本、性能、安全性考量。
博客
从8万+数据源提炼洞察，ChatGPT+Zilliz +LangChain如何成创新药研发新范式
07-01 940
与此同时，创新药产业还长期被专利悬崖所制约：即一款创新药的专利有效期通常仅有20年，而除掉漫长的6-10年临床，企业对药品的实际独占权仅有12-14年。也就是说，在这中间，加速任何一个环节尤其是耗时最久的临床期的效率与变革，无论对药企的发展，还是对病人的生存质量，都至关重要。，以及企业的内部私有数据，在进行数据汇总时，会分析和交叉核对不同来源的数据进行二次验证，从而保证信息的准确性以及及时性。能够处理数十亿个向量、具备商业级的系统可靠性、能够同时处理结构化信息，以及PDF在内格式复杂的非结构化内容。
博客
开源|VDBBench 1.0正式官宣，完全复刻业务场景，支持用户自定义数据集
06-27 873
比如，SIFT 和 GloVe 这类数据集通常用于较小规模的低维向量，但如今的模型，尤其是大模型（例如 OpenAI 和 Cohere 的嵌入模型），其向量维度通常远超这些传统数据集，且规模上也大得多。通常来说，带过滤条件的搜索是一个常见的实际应用场景，比如，在电商或推荐系统中，用户往往会根据不同的标签或特征筛选数据（如“颜色==红色”）。通过这样的数据集，我们能够测试系统在大规模高维数据上的表现，包括存储、查询和检索的性能，确保测试结果能够真实反映现代大数据场景下的挑战。
博客
直播预告丨聊聊Milvus 2.6新功能及背后的开发故事
06-26 319
圆桌环节更有技术负责人、QA大佬和社区主理人分享 Milvus 2.6 开发背后的故事，并现场解答社区用户问题。7 月 1 日晚上 20:00-21:00，Zilliz 视频号直播间，Zilliz 合伙人。欢迎大家锁定 Zilliz 视频号直播间，与我们一起探索 Milvus 2.6 的技术魅力！和研发VP 栾小凡将带来《一步到位，详解 Milvus 2.6 新功能》的分享，点击下方预约，共享知识探索之旅！开发者生产力拉满的新功能。性能不打折的技术升级。
博客
成本降50%、准确率提升40%，美国头部地产AI 公司用Agent弯道超车
06-25 613
针对关键交易，检索到的上下文会通过多个大型语言模型（如 Claude 或 OpenAI GPT）进行验证，以确保信息的准确性与多视角的理解，从而增强系统的稳健性和可信度。如此一来，你问：“XX交易的关联方以及各自适用的交易规则都有哪些”时， 大模型无法直接回答的问题，使用RAG技术，将相关的历史资料汇集，就能生成一个足够准确又智能的回复。与此同时，客户的要求也越来越多，比如交易完成，所有的embedding数据就要删除，来保护客户隐私——高频的数据增删，对索引的构建与维护能力，提出了巨大的要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值