- 博客(1754)
- 收藏
- 关注
RSS订阅原创 天天都在用的大模型，到底是个啥？
理解温度后，我们再学习 token 这个概念。那我问你。大模型给出回答里，“look in my eyes” 是一个词吗？很明显不是。在大语言模型场景，其实每次添加的是一个token，而不是词。那什么是 token？实际上，大语言模型是个文盲，它完全不懂 look in my eyes 的含义，只会利用一个叫分词器的家伙，把这些文本进行切割，切完的小文本就是一个个 token。为什么要切？
2025-06-23 23:14:04
710
原创 一文讲清楚大模型中8个关键词及原理：LLM、Transformer、GPT、Bert、预训练、微调、深度学习、Token
一文讲清楚大模型中8个关键词及原理：LLM、Transformer、GPT、Bert、预训练、微调、深度学习、Token
2025-06-19 22:04:42
1021
原创 大模型原理解析（非常详细）零基础入门到精通，收藏这一篇就够了
近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著成果，尤其是大模型的出现，进一步提升了模型性能。大模型通常指具有数千万甚至数亿参数的深度学习模型，其核心原理是基于深度学习的神经网络，通过大量数据和计算资源进行训练，以优化模型参数，提升任务表现。大模型的特点包括参数数量庞大、训练数据量大、计算资源需求高等，广泛应用于自然语言处理、图像生成等领域。 大模型的架构主要基于Transformer结构，其独特的注意力机制（Attention）使其在处理长序列任务时表现优异。根据架构的不同，大模型
2025-05-15 17:11:12
1078
原创 将大模型与小模型结合的8种常用策略分享，附17篇案例论文和代码
近年来，大模型研究逐渐转向“降耗增效”，通过结合高性能、低耗资的小模型，提升计算和内存利用效率，满足特定场景需求，降低成本并增强系统性能。常用的结合策略包括模型压缩（如蒸馏、剪枝）、提示语压缩、联合推理、迁移学习、权值共享和集成学习等。模型压缩通过知识蒸馏、轻量化架构、剪枝和量化等方法，将复杂大模型转化为高效小模型。知识蒸馏通过让小模型拟合大模型的输出，模拟其性能。相关研究如《Distilling the Knowledge in a Neural Network》和《Knowledge Distillat
2025-05-15 16:44:16
887
原创 一文了解大模型的主要应用领域和就业岗位
大模型在多个领域展现出广泛的应用潜力。在自然语言处理（NLP）中，大模型可用于文本生成、翻译、问答系统和情感分析；在计算机视觉（CV）中，应用于图像分类、目标检测、图像生成和人脸识别；在自动驾驶领域，大模型支持物体检测、路径规划和决策制定；在金融领域，用于市场预测、风险评估和智能投顾；在医疗领域，辅助医疗影像诊断和数据分析；在教育领域，提供个性化学习推荐和智能辅导；在城市治理和智能制造中，大模型也展现出提升效率和优化决策的潜力。此外，AI大模型开发工程师等岗位成为新兴就业方向，推动技术发展。
2025-05-15 15:26:15
1117
原创 终极指南：国内大模型公司面经与感受，10万月薪Offer攻略
2024年三月前后，大模型在国内迅速走红，笔者在此期间面试了多家公司，包括大厂和初创企业。面试经历中，智元机器人（Agibot）由稚晖君亲自面试，主要涉及Transformer和BERT/GPT等技术问题，但最终未通过。面壁科技/面壁智能则提供了offer，面试内容涵盖大模型训练和Transformer，团队年轻且背景强大。光年之外和360则因简历问题被拒。北京智源人工智能研究院的面试过程较为复杂，涉及多个团队，但最终未获回复。Minimax则提供了口头offer，面试轮次较多。整体来看，大模型领域的面试注
2025-05-13 15:36:30
938
原创 2025普通人转行，推荐一个好就业的方向——人工智能大模型
2024年高校毕业生预计达1179万人，就业压力持续加大。为应对“就业难”问题，选择前景良好的专业至关重要。人工智能作为当前热门领域，其大模型技术在各行业的应用日益广泛，预计到2030年人才缺口将达500万。相关岗位如算法工程师、数据挖掘工程师等薪酬优厚，发展前景广阔。文章还提供了大模型学习资料包，包括学习路线、实战案例、视频和PDF合集，帮助零基础学习者快速入门并规划职业方向。
2025-05-13 15:10:21
1516
原创 大模型实操 ——LoRA、QLoRA微调大模型实战技巧分享
本文介绍了LoRA（低秩自适应）技术在大语言模型微调中的应用。LoRA通过在原有模型基础上添加可拆卸的插件，显著降低了微调大模型的计算和内存成本。文章详细解释了LoRA的工作原理，即通过低秩矩阵分解减少参数更新量，从而节省资源。此外，还介绍了QLoRA技术，通过量化进一步减少内存占用，尽管训练时间有所增加，但模型性能几乎不受影响。文章还讨论了学习率调度器在优化模型收敛中的作用，并比较了SGD与Adam优化器在训练大模型时的内存占用差异。总体而言，LoRA和QLoRA是高效微调大语言模型的有效方法，尤其适合资
2025-05-13 14:50:09
1004
原创 大语言模型微调实践——LoRA 微调细节
本文介绍了大语言模型微调技术中的LoRA（Low-Rank Adaptation）方法，并以StarCoder模型为例，详细阐述了LoRA的微调原理与实践。LoRA通过低秩分解技术，在预训练模型旁增加旁路矩阵，仅训练少量参数即可实现高效微调，显著减少计算资源需求。文章还探讨了LoRA的细节，如参数选择、Rank取值、alpha参数及初始化方法，并提供了StarCoder微调的环境配置和主要依赖包版本。LoRA方法在代码生成等任务中表现出色，为自然语言处理领域提供了更精细、个性化的解决方案。
2025-05-13 14:28:48
872
原创 从训练到推理，AI 大模型发展有哪五大趋势？
电子发烧友网报道（文/章鹰）2024年两会召开后，两会报告把加快发展新质生产力列为十大任务举措之首。新质生产力的核心是用新技术促进产业高端化、智能化和绿色化。ICT产业是发展新质生产力的核心支撑要求，ICT产业正在进入AI无处不在的大转型阶段。纵观全球，2024年中国GDP增长预期5%，全球平均增长率达到2.6%，美国预期增长2%，印度最为乐观预期今年的GDP增长达到6.2%。
2025-05-12 15:44:27
1025
原创 大模型部署的问题，以及企业级大模型的分布式部署方案
大模型的分布式训练和部署是当前人工智能领域的重要课题。与单机训练不同，企业级大模型通常涉及数十亿甚至数万亿参数，单机无法满足其计算和存储需求。分布式训练和部署通过数据并行、模型并行、流水线并行和混合并行等方式，将模型分布到多台机器上进行训练和推理，以应对大规模参数和用户访问的挑战。常用的工具包括TensorFlow、PyTorch、Horovod和DeepSpeed等。此外，大模型的适配问题也需要解决，如将开源模型适配到特定框架中。对于初学者，系统学习大模型的分布式训练和部署是掌握企业级应用的关键。文末提供
2025-05-12 14:53:55
658
原创 一文读懂RAG和LLM微调，教你结合业务场景落地LLM应用
在面对大型语言模型（LLM）应用性能提升时，开发者常面临选择检索增强生成（RAG）还是模型微调的难题。RAG通过整合外部数据源来增强模型生成能力，适合需要动态更新和外部知识支持的场景，且能有效减少模型幻觉，提高输出的准确性和可解释性。而微调则通过特定数据集训练模型，使其更适应特定任务或领域，适合需要定制化风格或领域知识的应用，但可能面临数据更新和过拟合的挑战。两者并非互斥，而是根据应用需求可独立或结合使用。选择时需考虑数据动态性、训练数据量、可解释性等因素，以确保模型性能和应用效果的最优化。
2025-05-12 14:25:36
956
原创 RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、RAG（检索增强生成），智能问答交互体验好；无缝嵌入：支持零编码快速嵌入到第三方业务系统，让已有系统快速拥有智能问答能力，提高用户满意度；灵活编排：内置强大的工作流引擎，支持编排 AI 工作流程，满足复杂业务场景下的需求；模型中立。
2025-05-10 21:57:20
603
原创 大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?
RAG（Retrieval-Augmented Generation）是一种基于检索增强的生成技术，通过从外部知识库中检索相关信息，提升生成文本的准确性和相关性。其特点包括知识更新成本低、提高答案准确性和增强可解释性，适用于知识密集型任务、AI文档问答等场景。然而，RAG依赖外部知识库的质量和规模，且检索模块的准确性直接影响生成效果。未来，RAG将在企业信息库建设、智能客服等领域有更广泛应用。 Agent（智能体）则赋予软件实体自主性和交互性，使其能够智能响应环境变化和用户需求。Agent具备自主性、反应性
2025-05-10 21:28:53
943
原创 使用RAG技术构建企业级文档问答系统之基础流程
本文介绍了检索增强生成（RAG）技术的基础流程，该技术结合大语言模型与文档检索，能够根据用户问题从文档中提取相关文本片段，并生成回答。RAG解决了传统大语言模型在知识陈旧、幻觉和无法利用私有知识库等问题。其流程包括文档加载、切分、向量化和存储，最终通过向量相似度检索相关文本并生成回答。文章还提供了环境准备和代码实现的详细步骤，包括安装Python包、下载模型和加载数据集，帮助读者构建企业级文档问答系统。
2025-05-10 15:16:59
1018
原创 LangChain RAG入门教程：构建基于私有文档的智能问答助手
在深入技术实现前，需要理解RAG技术的核心价值。传统语言模型如GPT-4尽管功能强大，但其知识库受限于训练数据，无法有效访问新增信息或特定领域文档。检索系统：从文档集合中精确定位相关信息生成机制：基于检索到的上下文信息生成准确、相关的响应这种结构设计的优势在于能够构建一个基于特定知识库的AI问答系统，有效降低了幻觉（hallucination）现象，显著提升了回答的事实准确性。通过本文所述方法，已成功构建了一个能够基于特定文档集合回答问题的完整RAG系统。
2025-05-08 15:22:25
995
原创 RAG 入门指南：从零开始构建一个 RAG 系统
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
2025-05-08 14:53:15
1109
原创 LlamaIndex入门指南：构建私有知识库的保姆级教程
在大语言模型（LLM）时代，如何让通用模型理解私有数据并生成精准回答，是开发者面临的核心挑战。（原GPT Index）应运而生，它作为连接LLM与私有数据的桥梁，通过检索增强生成（RAG技术，将外部知识库、结构化数据与模型的生成能力深度融合，让AI真正“读懂”你的专属信息。前排提示，文末有大模型AGI-CSDN独家资料包哦！其核心价值在于：支持从PDF、数据库、API等100+数据源（如企业文档、医疗报告）提取信息，构建统一索引；
2025-05-08 14:22:40
1243
原创 一文读懂RAGFlow：从 0 到 1教你搭建RAG知识库
RAGFlow是一种融合了数据检索与生成式模型的新型系统架构，其核心思想在于将大规模检索系统与先进的生成式模型（如Transformer、GPT系列）相结合，从而在回答查询时既能利用海量数据的知识库，又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块：数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息，而生成模块则基于检索结果生成高质量的回答或文本内容。
2025-05-08 13:58:01
1327
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人