- 博客(17)
- 收藏
- 关注
RSS订阅原创 大语言模型岗经典面试题
本文摘要总结了当前大模型相关技术的关键知识点，包括模型架构、注意力机制、归一化方法、微调技术等。主要内容涵盖：1）LoRA和QLoRA的参数高效微调原理；2）Transformer中LayerNorm与RMSNorm的对比；3）不同模型架构(encoder-only/decoder-only)的特点；4）注意力机制变体及其优化技术(FlashAttention)；5）BERT预训练任务设计；6）解决大模型上下文窗口扩展的位置插值方法；7）RAG、P-tuning等增强模型能力的技术。
2025-08-22 15:05:41
679
原创 超图与大语言模型的结合
摘要：超图（Hypergraph）作为图论的扩展，通过超边（可连接任意数量节点）有效建模多元关系，弥补了普通图仅能表示两两关系的局限。其核心应用包括：1）复杂系统建模（如社交群组、化学反应）；2）高阶关联挖掘（如推荐系统、知识图谱）。代表性工作如Hyper-RAG、HyperGraph-RAG和OG-RAG，利用超图结构增强检索与生成能力，通过提取多实体关系、构建知识超图及优化检索策略，显著提升了复杂查询的响应准确性。超图为处理多对多关系提供了通用框架，在数据分析与AI领域具有重要价值。
2025-08-22 14:44:28
775
原创 文档解析与知识利用
本文汇总了多种文档解析工具及方法，涵盖不同类型文档处理需求。主要内容包括：1）通用文档解析工具如Apache Tika（支持PDF/Office等格式）；2）图片型文档的PaddleOCR系统（含文本检测、校正和识别）；3）表格型文档的PP-Structure系统（支持版面分析和表格识别）；4）多类型文档转换工具Magic-Doc和Markitdown（支持多种格式转Markdown）；5）国产PDF工具MinerU；6）知识增强技术如GraphRAG和LightRAG（基于知识图谱的检索增强方法）；7）微
2025-08-22 14:29:06
872
原创 知识图谱与大语言模型
知识图谱与大语言模型在知识表示与推理方面存在互补性。知识图谱以结构化形式存储知识，具有可解释性强、便于调试的优势，适合精准问答和多跳推理；而大模型通过参数化方式隐式存储知识，具备强大的通用生成能力。两者在知识更新和事实准确性方面面临相似挑战。研究提出多种融合方法：训练阶段可通过知识嵌入增强模型（如ERNIE），推理阶段可结合知识图谱进行提示优化（如KAPING框架）。实验表明，知识图谱能有效提升大模型在QA任务中的表现，尤其在常识推理和领域问答场景。未来需解决知识检索效率、多跳推理等关键问题。
2025-08-22 14:20:12
602
原创 大模型相关基础知识
本文系统介绍了大模型的基础知识、关键技术及应用场景。主要内容包括：1）NLP基础任务与方法，如词性标注、命名实体识别等；2）大模型核心机理，包括预训练语言模型、神经网络原理及Transformer架构；3）高效训练与压缩技术，如Prompt Tuning、Delta Tuning等参数优化方法；4）跨领域应用，涵盖生物医学、法律智能等学科。文章详细阐述了词表示、语言模型构建、注意力机制等核心技术，并分析了RNN、CNN等神经网络结构的优缺点。同时介绍了分布式训练、模型压缩等优化方法，以及文本生成、机器问答等
2025-08-22 14:17:14
707
原创 2020科大讯飞事件抽取挑战赛
事件抽取系统，包含触发词（trigger），事件论元（role），事件属性（attribution）的抽取。，然后根据触发词抽取模型抽取的触发词，分别输入到 role1 & role2 & attribution 模型中，进行后序的。以文本作为模型的输入，考虑了事件触发词与事件论元之间的依赖性，直接输出抽取的触发词和对应的论元。将事件抽取划分成两阶段任务，先进行触发词抽取，再利用抽出的触发词对事件论元进行槽填充。四个任务 model 的上级文件夹必须指定，同时文件夹名称应包含模型的参数特征。
2023-02-08 20:09:03
869
8
原创 NLP--事件抽取模型对比
本实验中使用了基于ltp句法分析和语义角色标注、基于百度DDParser以及基于词性模板规则的事件三元组抽取方法，并给了实验结果。LTP在DDParser之外，还提供了语义角色标注的功能，可以用于事件三元组抽取的有效补充LTP速度比DDParser要快基于词性模板规则的事件三元组抽取速度最快，但效果取决于分词，词性标注功能基于词性模板规则，可以得到语义更长的三元组元素信息Doc2EDAG论文“Doc2EDAG：中国金融事件提取的端到端文档级框架”的源代码， 在 EMNLP 2019 中。
2023-02-08 19:57:28
1459
原创 平衡二叉树
左，右子树高度差的绝对值不超过1，定义结点左子树与右子树的高度差为该结点的平衡因子，则平衡二叉树结点的平衡因子的值只能是-1,0或1。
2022-09-02 15:50:44
474
原创 队列的相关知识
tag = 0时，若因删除导致Q.front == Q.rear，则为队空；tag=1时，若因插入导致Q.front == Q.rear，则为队满。（2）类型中增设表示元素个数的数据成员Size，这样，队空的条件为Q.Size = 0，队满条件：Q.Size == MaxSize。队尾指针进1：Q.rear = (Q.rear + 1) % MaxSize。队满条件：(Q.rear + 1) % MaxSize == Q.front。初始状态（队空条件）：Q.front == Q.rear == 0。...
2022-09-01 15:44:26
299
原创 栈的相关知识
采用链式存储结果的栈称为链栈，链栈的优点是便于多个栈共享存储空间和提高其效率，且不存在栈满上溢的情况。通常采用单链表实现，并规定所有操作都是在单链表的表头进行。栈空条件：S.top==-1；栈满条件：S.top==MaxSize-1；栈长：S.top+1。栈的数学性质：n个不同元素进栈，出栈元素不同排列的个数C(2n,n)/n+1。栈顶指针：S.data，初始时设置S.top=-1；栈顶元素：S.data[S.top]采用链式存储，便于结点的插入和删除。1.2 栈的顺序存储结构。1.3 栈的链式存储结果。.
2022-08-31 16:48:53
262
原创 满二叉树，完全二叉树，二叉排序树，平衡二叉树
（1）满二叉树：一棵高度为h，且含有(2^h)-1个结点的二叉树称为满二叉树，即树中每层都含有 最多的结点，满二叉树的叶子结点都集中在二叉树的最下一层，并且除叶子结点之外的每个结点度数均为2.每个结点对应一个编号，对于编号为i的结点，若有双亲，则其双亲为⌊i/2⌋，若有左孩子，则左孩子为2i；若有右孩子，则右孩子为2i+1.（2）完全二叉树：高度为h，有n个结点的二叉树，当且仅当其每个结点都与高度为h的满二叉树 中编号为1-n的结...
2022-04-14 13:09:11
1629
原创 树与二叉树的性质和区别
树的性质： （1）n个结点的树有n-1条边 （2）树中结点数等于所有结点的度数之和加1 （3）度为m的树中第i层上至多有m^i-1个结点（i≥1） （4）高度为h的m叉树至多有（（m^h）-1)/（m-1）个结点，至少有h个结点 （5）具有n个结点的m叉树的最小高度为log(n(m-1)+1)对m取对数向上取整 （6）高为h，度为m的树至少有h+m-1个结点二叉树的性质（注意二叉树不是树的特殊形式，是另一种树形结构...
2022-04-13 11:55:12
2040
原创 判断无损连接
（1）先看A->C，在A中查找是否有相同行，从表中可知第1、2、5行均为a1，然后看C列中对应的行是否含有ai，若含有ai，则将对应的剩余几行也修改为ai；若不含ai，则将对应行的bij修改为对应行中最小行的bij。例本题C列中不含有a，则将对应1、2、5行修改为b13（2）再看C->D，可知C列中，有1、2、5行均为b13，3、4两行相同均为a3，则应分开看。先看b13那几行对应的D列那几行，可以看到D列第一行对应的是a4，则应将b13剩下几行即2、5行对应行也修改为a4；再看a3对应..
2022-04-13 11:13:59
896
原创 关系模式的多值依赖
定义1：设R(U)是属性集U上的一个关系模式。X、Y、Z是U的子集，并且Z=U-X-Y。关系模式R(U)中多值依赖X->->Y成立，当且仅当对R(U)中任一关系r，给定的一对（X，Z）的值，有一组Y的值，这组值仅仅决定于X的值而与Z值无关。若X->->Y，而Z=∅，即Z为空，则称X->->Y为平凡的多值依赖。即对于R(X、Y)，如果有X->->Y成立，则X->->Y为平凡的多值依赖。例如：关系模式WSC（W，S，C）中，W表示仓库，.
2022-04-13 10:48:25
3823
1
原创 关系模式的码与范式
定义1：设K为R<U,F>中的属性或属性组合，若U对K完全函数依赖，则K为R的候选码。定义2：关系模式R中属性或属性组X并非R的码，但X是另一个关系模式的码，则称X是R的外部码，也称外码。注意：U是完全函数依赖于K，而不是部分函数依赖于K一般地，如果U函数依赖于K，即K->U，则K称为超码。候选码是一类特殊的超码，即候选码的超集一定是超码，候选码的任何真子集一定不是超码。若候选码多于一个，则选定其中的一个为主码。包含在任何一个候选码中的属性称为主属性；不包含在任何候选码.
2022-04-12 16:04:40
3627
原创 函数依赖的定义与判断
定义1：设R(U)是属性集U上的关系模式，X、Y是U的子集。如对于R(U)的任何一个可能的关系r，r中不可能存在两个元组在X上的属性值相等，而在Y上的属性值不等，则称X函数确定Y或Y函数依赖于X,记作X->Y。注意：函数依赖不是指关系模式R的某个或某些关系满足的约束条件，而是指R的一切关系都要满足的约束条件。下面介绍一些术语和记号X->Y，但Y不属于X，则称X->Y是非平凡的函数依赖X->Y，但Y属于X，则称X->Y是平凡的函数依赖若X->Y，则称.
2022-04-10 12:06:09
3166
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人