- 博客(639)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 增强学习和蒙特卡洛树搜索算法详细解析
阿尔法狗（AlphaGo）是谷歌旗下DeepMind开发的一个著名的增强学习算法，它在围棋领域取得了显著的成就。本文主要探讨其中两个重要的算法：增强学习算法和蒙特卡洛树搜索算法。
2023-11-16 14:23:39
1095
原创 人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理
CNN 主要用于处理图像数据，RNN 用于处理序列数据，而 DNN 是一个通用的深度神经网络架构，可以应用于各种不同类型的数据。这些神经网络架构也可以结合使用，以解决复杂的多模态问题。
2023-10-24 17:58:05
9155
6
原创 Hadoop简介之望见数据湖
1 Hadoop概述随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着
2020-09-28 15:09:37
2725
2
原创 Greenplum安装时修改gpssh-exkeys中SSH免密登录端口
SSH免密登录的默认端口号为22，如果需要使用2226端口，可以修改如下地方298 def testAccess(hostname):299 '''300 Ensure the proper password-less access to the remote host.301 Using ssh here also allows discovery of remote host keys *not*302 reported by ssh-keyscan.303...
2020-09-08 14:13:29
3411
2
原创 llamafactory-cli train 训练参数解析
本文介绍了launcher.py脚本的训练参数配置选项，主要包括模型加载、量化、数据处理和导出等关键参数设置。模型相关参数支持指定预训练模型路径、适配器配置、词表调整和注意力机制选择等功能；量化参数提供多种量化方法（bnb/gptq/awq等）和位宽设置；数据处理参数涵盖图像/视频/音频的预处理选项；导出参数支持模型量化导出和格式转换。此外还包括数据集处理、评估指标和训练策略等配置选项，为模型训练和推理提供全面的参数控制。
2025-07-21 10:02:10
112
原创 安装llama-factory报错 error: subprocess-exited-with-error
推荐方案：如果你现在是在 conda 环境里（llm_train），最简单、最干净的做法就是。
2025-07-14 11:11:07
162
原创 大模型rag增强检索之ragflow安装部署
永久设置，编写/etc/sysctl.conf文件，修改参数。若docker compose版本过低，更新。不满足要求，临时重设参数。
2025-06-26 13:39:02
142
原创 GRPO参考代码
摘要： 群体相对策略优化(GRPO)是一种创新强化学习算法，通过组内响应比较优化策略。其核心特点包括：(1)无价值网络依赖，通过生成G个候选响应并计算归一化奖励作为优势值；(2)结合PPO的裁剪机制和KL正则项确保训练稳定性；(3)目标函数包含策略比值、裁剪优势和KL惩罚项。实验证明，GRPO在多智能体环境中能有效提升策略性能，计算效率优于传统PPO。实现上，算法循环执行数据收集(并行生成候选)、群体优势计算(归一化奖励)、策略梯度更新(含裁剪)等步骤，适用于语言模型强化和协同智能体训练场景。
2025-06-16 17:10:36
68
原创 AI大模型RLHF相关的DPO,PPO,GRPO,DDPG算法解析
大型模型增强学习中，PPO、DPO、DRPO和DDPG是核心算法。PPO通过截断策略更新实现稳定优化，广泛应用于RLHF；DPO简化流程，直接利用偏好数据优化策略；DRPO增强奖励鲁棒性，应对噪声和不确定性；DDPG则结合策略和价值网络处理连续动作空间。这些算法分别从稳定性、效率、鲁棒性和连续性角度推动大型模型与人类偏好的对齐。
2025-06-16 16:14:57
149
原创 python的json模块中的dump、dumps、load 和 loads方法的区别与联系
json 模块主要提供了四种方法来处理JSON数据：dump、dumps、load 和 loads。
2025-06-13 10:14:54
159
原创 多模态之智能数字人
多模态下智能数字人的开发是一个复杂且系统性的工程，它融合了人工智能（AI）、计算机图形学、自然语言处理（NLP）、语音技术、计算机视觉（CV）等多个前沿领域。
2025-06-04 17:21:36
218
原创 商务合同范本智能审核系统 AI 大模型处理方案
AI智能合同审核系统基于AI大模型构建，旨在自动解析商务合同，识别法律风险点（如权责失衡、条款模糊等），并通过企业合规数据库比对提供专业修改建议。采用“预训练大模型+RAG+领域微调”架构，包含数据层（合同库、合规知识库）、预处理模块（文本解析、条款分类）、核心AI层（法律领域微调模型、风险识别）及审核报告生成模块。系统工作流程涵盖合同上传、风险识别、合规比对、修改建议生成及可视化报告输出。关键挑战包括法律数据稀缺性、模型幻觉问题等，将通过专家合作、RAG增强等技术应对。实
2025-06-04 17:06:15
156
原创 ERP、OA、CRM三个企业管理软件的区别与联系
企业信息化三大系统对比： ERP（企业资源计划）聚焦企业内部资源整合，覆盖财务、供应链、生产等核心业务流程，实现全局数据集成与优化；OA（办公自动化）侧重日常行政事务管理，通过工作流、文档管理等提升办公效率；CRM（客户关系管理）专注客户全生命周期管理，涵盖销售、营销和服务等环节。三者分别对应企业内部资源优化、行政效率提升和外部客户关系管理三大维度，大型企业往往需要三者协同配合，形成完整的企业信息化体系。
2025-06-03 10:34:15
64
原创 模型微调之对齐微调KTO
KTO旨在通过优化知识从预训练模型向微调模型的转移过程，使得微调后的模型能够更好地遵循人类指令，提高模型在特定任务上的性能，同时保持模型的泛化能力。它主要关注如何在微调过程中有效地利用预训练模型的知识，减少过拟合，增强模型与人类期望输出的对齐程度。
2025-05-29 15:25:07
116
原创 模型微调之指令微调SFT和参数高效微调PEFT
摘要：指令微调（SFT）通过标注数据优化大语言模型的任务性能，而参数高效微调（PEFT）技术（如LoRA）仅调整少量参数即可实现高效训练。两者结合能在降低计算成本的同时提升模型指令遵循能力。实际应用中，需准备高质量指令数据集（如Alpaca），选择基座模型（如Llama3），并借助LLaMA-Factory或Hugging Face TRL等工具实现SFT与PEFT的协同优化，典型流程包括数据预处理、LoRA配置和模型训练。
2025-05-29 14:59:24
241
原创 rag增强检索-基于关键词检索的混合检索模式
Milvus 2.4 开始原生支持 Hybrid 查询，可以直接用关键词 + 向量同时搜！Qdrant 支持 “filter + vector” 的查询，很丝滑。→ 先关键词召回，再向量检索排序，或者两者结合。
2025-04-27 15:10:19
242
原创 Milvus如何实现关键词过滤和向量检索的混合检索
Milvus 支持混合检索，即同时进行向量检索和基于关键词或其他属性的过滤。通过在查询时使用 `expr` 参数，你可以轻松地将关键词过滤与向量相似度检索结合起来，以实现更精确和高效的数据检索。
2025-04-27 14:19:43
453
原创 基于deepseek的模型微调
使用 DeepSeek 模型（如）进行微调，可以分为几个关键步骤，下面以 DeepSeek-LLM 为例说明，适用于 Q&A、RAG、聊天机器人等方向的应用。
2025-04-23 18:41:32
291
原创 大模型RAG的召回模式
模式描述特点应用场景稀疏召回关键词匹配快速、精准但语义弱传统检索稠密召回向量相似度语义强、可扩展QA/RAG混合召回稀疏+稠密提升Recall覆盖通用RAG多模态召回图文检索等支持多模态输入图文问答生成式召回LLM生成检索线索灵活、可控指令召回LLM控制检索流程可解释、复杂推理多跳QA/Agent。
2025-04-23 18:39:04
343
原创 rag搭建，是如何进行向量匹配检索的？
模块作用Embedding 模型把文本和问题转成向量向量数据库存储所有 chunk 向量 + 元信息相似度计算查询问题向量与数据库向量的“距离”Top-k 检索取出最相似的几个文本，拼接输入给 LLM。
2025-04-20 19:31:14
192
原创 AI大模型之模型幻觉
内在幻觉是指模型生成的文本在形式上通顺、语法正确，但其内部逻辑结构不一致或语义推理存在错误。此类幻觉不依赖外部知识或输入背景，即使在无事实参照的生成任务中也可能出现。外在幻觉是指模型生成的文本与外部事实、上下文输入或知识源不一致，即模型在已有语义输入（如上下文、文档、图像或知识库）条件下，仍生成了与之矛盾或无关的信息。
2025-04-20 18:55:31
138
原创 人工智能之矢量搜索报告
矢量搜索正在从文本扩展到图像、视频、音频等领域，并成为多模态 AI 系统的底层“感知引擎”。图像矢量搜索的研究与实践，是构建下一代智能搜索与生成系统的关键支柱。掌握其底层机制与工程最佳实践，对于构建可靠、高效的 AI 应用至关重要。
2025-04-20 18:43:09
399
原创 模型幻觉之内在幻觉和外在幻觉
模型幻觉指的是大型语言模型（LLMs）生成的内容与客观事实不符或者缺乏合理逻辑依据的现象。这是当前大模型应用中面临的一个关键问题，会严重影响模型输出的可信度和实用性。例如在问答系统中，模型可能会给出不存在的事件细节或者错误的知识信息。内在幻觉是指模型在生成内容时，由于自身知识理解和推理的局限，产生与已知事实冲突或者在语义逻辑上不合理的表述，不涉及外部知识检索。这种幻觉源于模型内部的参数和训练方式，使得它在处理输入时无法准确地表达真实信息。外在幻觉通常与RAG（检索增强生成）系统相关。
2025-04-15 13:38:40
116
原创 大模型之Hugging Face
Hugging Face 通过提供预训练模型、数据集、以及推理和训练工具，极大地简化了自然语言处理任务的开发。无论是初学者还是经验丰富的研究人员，Hugging Face 都为 NLP 项目提供了极大的便利。如果你正在进行自然语言处理或机器学习任务，Hugging Face 是一个非常值得关注的平台。
2025-04-14 23:12:07
140
原创 大模型之Transformers ， PyTorch和Keras
- **Transformers** 是一种强大的架构，专为自然语言处理任务设计，提供了大量预训练模型，广泛应用于文本生成、机器翻译、文本分类等任务。- **PyTorch** 是一个灵活、动态的深度学习框架，适合研究和原型开发，尤其在计算机视觉和强化学习领域应用广泛。- **Keras** 是一个高层次的深度学习库，简化了模型构建和训练的流程，适合快速原型开发，通常与 TensorFlow 配合使用。
2025-04-14 23:09:06
603
原创 层归一化（Layer Normalization） vs 批量归一化（Batch Normalization）
层归一化和批量归一化都是，目的是让训练更稳定、收敛更快，但应用场景和工作方式大不相同。
2025-04-13 18:39:11
454
原创 transformer的基本结构和工作原理，多头自注意力机制的作用是什么，为什么使用位置编码？
Transformer 架构是现代大模型的基石，下面我从结构、原理、多头自注意力、位置编码四个方面做一个清晰的解释。Transformer 由 编码器（Encoder） 和 解码器（Decoder） 两部分组成：每个 Encoder Block 包含两层：加上：结构类似于 Encoder，但多了一层：以文本生成为例：注意力机制的核心是：当前词应该关注哪些其它词，通过加权求和的方式融合信息。公式核心：[Attention(Q,K,V)=softmax(QK⊤dk)V][ \text{Attention}(Q
2025-04-13 18:03:16
230
原创 如何对大模型进行优化，以提高其性能和效率？
对大模型进行优化，可以从多个层面入手，包括等方向。下面我从这几个维度详细展开，并列举常用的优化策略和工程实践。
2025-04-13 17:58:18
397
原创 如何评估大模型的性能？有哪些常用的评估指标？
评估大模型（如大语言模型 LLM）的性能是一个多维度的问题，常常需要结合多个指标从不同角度来考察模型的能力。
2025-04-13 17:54:59
345
原创 hive排序函数
ORDER BY: 全局排序，数据需要集中到一个节点，可能会影响性能。SORT BY: 局部排序，每个节点上进行排序，性能较好，但不能保证全局排序。: 根据某个字段将数据分发到不同的节点上，适用于分布式计算。CLUSTER BY: 类似于，但它同时会在每个节点上进行排序。在 Hive 中，除了常见的ORDER BYSORT BY和CLUSTER BY之外，还有一些其他的排序相关的函数和功能。除了常规的排序操作，Hive 中的窗口函数（如RANK()NTILE()LEAD()LAG()和。
2025-04-08 20:17:57
160
原创 机器学习之回归
回归分析是机器学习中的基本技术之一，广泛用于预测连续型变量。本文调研了线性回归、多项式回归、岭回归、Lasso回归及弹性网络回归，重点分析其数学原理、算法推导、求解方法及应用场景。
2025-03-24 15:30:50
218
原创 机器学习之条件概率
概率模型在各类机器学习任务中发挥着重要作用。EM算法适用于参数估计，MCMC可用于复杂分布采样，朴素贝叶斯和贝叶斯网络在分类和推理任务中具有优势，CRF和HMM适合序列建模，而最大熵模型则用于信息预测和分类。未来的研究可以结合深度学习进一步优化这些模型的性能。
2025-03-24 14:49:21
537
原创 语言大模型之BERT
BERT 采用 Transformer 编码器（Transformer Encoder），使用。来学习文本中的长距离依赖关系。不同于 LSTM 或传统 RNN，Transformer 允许。在 BERT 之前，许多 NLP 预训练方法（如 Word2Vec、GloVe）都是基于。，显著提升了自然语言理解（NLU）任务的表现。，导致模型无法充分利用句子中的全局信息。学习文本信息，从而更好地理解句子中的每个单词。，在 NLP 领域取得了革命性的突破。BERT 解决了这些问题，通过。
2025-03-21 09:50:05
259
原创 Hadoop 3.x中的zookeeper和JournalNode的作用
在Hadoop 3.x版本中，和的作用有所变化和增强，尤其是在HDFS高可用性（HA）架构和其他Hadoop组件的协作方面。继续在Hadoop 3.x中为集群提供协调服务，尤其是在HDFS的高可用性和YARN资源管理器的管理中，保证了集群节点之间的一致性和故障切换的顺利进行。主要用于为HDFS提供高可用性支持，确保NameNode的操作日志可以高效、可靠地同步和存储，使得在NameNode发生故障时，Standby NameNode能够快速恢复并接管工作。
2025-03-20 18:33:31
221
原创 调研报告：Hadoop 3.x Ozone 全景解析
Hadoop 3.x 中的 Ozone 以其全新的对象存储设计和分布式架构，从根本上解决了传统 HDFS 在处理海量小文件、元数据瓶颈以及云原生环境下的诸多问题。通过引入分布式 OM、容器化存储、数据副本与纠删编码机制，Ozone 不仅实现了高性能、高可用与可扩展性，而且在运维管理、安全性和生态集成方面展现出极大优势。面对未来数据量持续攀升及多样化应用场景的挑战，Ozone 正在不断优化自身设计，并与云原生技术、智能运维手段深度融合，为大数据存储和处理开辟出一条全新的发展路径。
2025-03-20 16:24:24
247
原创 AI大模型之量化
模型量化是指将神经网络中的权重、激活值及计算过程从高精度（如 32-bit 浮点数, FP32）转换为低精度（如 8-bit 整数, INT8），从而减少存储和计算负担，提高推理速度。
2025-03-20 14:53:07
88
seatunnel 支持hive jdbc
2023-07-28
dataCollection安装jar包0.07版本
2023-01-16
hbase-manager安装包，已编译
2022-11-14
大数据之湖仓一体，未来如何发展
2024-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人