- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 旋转位置编码RoPE以及和绝对位置编码的比较
本文探讨了旋转位置编码(RoPE)在Transformer模型中的创新应用。传统绝对位置编码存在序列长度受限和难以捕捉相对位置的缺陷。RoPE通过复数空间的旋转操作，将位置信息嵌入词向量维度变换中，实现了位置感知能力和数学优雅性的统一。文章详细解析了RoPE的实现过程：包括复数理论基础、欧拉公式应用、旋转矩阵计算以及实际代码实现。特别指出RoPE的外推性优势，可以通过旋转矩阵生成超出训练长度的位置编码，增强了模型泛化能力。这种编码方式已被LLAMA、ChatGLM等主流模型采用，成为处理长序列的关键技术。
2025-06-02 22:29:08
136
原创 transformer的绝对位置编码sinusoidal
将token 一维向量====》矩阵的过程。矩阵的每一行，都代表序列中一个位置编码对象与其位置信息的糅合。在 Transformer 架构中引入位置编码（Position Encoding）是为了解决自注意力机制（Self-Attention）无法捕捉序列顺序信息的局限性问题。类比检索系统Q：用户输入的查询词。K：数据库中每个文档的关键词（索引）。V：文档的具体内容。注意力机制通过比较 Q 和 K 的相似度，从 V 中提取最相关的信息。 他的计算机制是通过内部token计算attention_scor
2025-05-22 00:45:00
745
原创 用javadbf从数据库导出数据成dbf文件
前一个星期碰到一个需求，是这样的： 本地系统有一张表，用于存放一种病人文书的记录，类似于一张病人信息登记表，需要将这个一定时间段内的数据，导出成dbf文件碰到需求的时候，我在像dbf文件是个啥玩意儿，没见过啊。百度一下，哦，原来是数据库的数据文件，而且要数据库的控制文件里有描述信息，数据库实例，才可以加载里面的数据到内存。 所以我就建了个tablespace,以及dbf文件，然后把
2015-12-03 23:47:59
4476
2
原创 servlet入门第一课
搭建开发环境：JDK：1.7 64位 JAVA_HOME=E:\jdk1.7Tomcat 7 eclipse 环境下开发首先 说明下这个是本人的学习笔记原理笔记：1 tomcat服务器相关 Tomcat 中最终要的是server.xml文件，复制粘贴到eclipse下的一个xml文件，点击design可以看见她的树状结构; tomcat服务
2015-11-29 20:50:13
359
gradle-6.8.3-bin.zip
2021-03-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人