- 博客(333)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 中文逆文本标准化 (ITN) 标注规范
逆文本标准化（Inverse Text Normalization, ITN），或称“中文转数字”，是指将文本中的口语化、文本化的数字表达（如“一千二百三十”、“百分之五”、“十一点半”）转换为标准化的书面形式（如“1230”、“5%”、“11:30”）。核心目标：使转换后的文本更符合书面阅读习惯，并便于后续的机器处理。示例：今天十一点十一分 -> 今天11:11我国总人口约十三点八六亿 -> 我国总人口约13.86亿标签定义适用场景变化。
2025-09-03 18:19:15
621
原创 语音识别后处理——如何语音断句加上标点、顺滑、ITN等
摘要： 机器同传（MSI）中的断句技术是影响翻译质量与实时性的关键瓶颈。完整语义单元对神经机器翻译（如Transformer）至关重要，断句不准会导致上下文割裂与翻译错误。当前技术包括基于静音、语言模型预测、韵律特征及端到端混合模型，需权衡实时性与准确性。类似挑战也存在于机器人交互中，错误断句可能导致指令误解与执行风险。研究高效断句算法（如VAD、端点检测）对实现流畅人机交互具有重要意义。文中还对比了大模型在口语化文本翻译中的表现差异，并展示了不同正则引擎的性能对比。
2025-09-01 07:35:51
115
原创 使用linux的mail命令发送html格式的邮件
2、然后修改/etc/mail.rc，在文件末尾增加以下内容，指定邮箱和授权码。1、关闭本机的sendmail服务或者postfix服务。3、然后通过命令来发送邮件。3、授权码的获取方式。
2024-07-10 05:32:12
10285
原创 github的优秀项目
GitHub - keon/awesome-nlp: A curated list of resources dedicated to Natural Language Processing (NLP)GitHub - glample/tagger: Named Entity Recognition Toolhttps://github.com/guoguibing/librec 优秀推荐系统代码https://github.com/ottokart/punc
2024-05-27 13:57:58
765
原创 模型蒸馏笔记
Hinton在NIPS2014提出了知识蒸馏（Knowledge Distillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简单的说就是用小模型去学习大模型的预测结果，而不是直接学习训练集中的label。
2024-05-26 20:20:47
869
原创 语料清洗的难点——为什么gbk编码常用抽取正则表达式无法抽取“嘚瑟“的“嘚”字
原因是：“嘚”的二进制编码是874e，而4e的编码正好是大写字母N，经过lower()函数后，就变成n，对应的二进制编码是6e，而876e就是”噉”因此语料预处理时需要非常小心，大小写转换在语料处理流程中的顺序，以及中文字符的抽取的正则都需要多加检验才能保证语料的干净。而我们常用的gbk汉字抽取正则表达式为[\x80-\xff][\x80-\xff]原因是：现在很多年轻人喜欢用兔斯基表情-.-，在语料处理时-被删除了，但是.留下了。其中0a为\n字符，874e即“嘚”字的gbk编码。
2024-05-16 14:24:24
434
原创 streamlit报错：AxiosError: Request failed with status code 403
步骤三：重新启动你的streamlit网页。步骤一：创建config.toml。步骤二：加入以下内容。
2024-05-14 22:44:26
1707
原创 deepspeed笔记
传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。ZeRO Stage 3: 划分模型参数，或者说，不同的layer. ZeRO-3会在forward和backward的时候，自动将模型参数分配到多个memory。由于ZeRO-1只分配optimizer states(参数量很小)，实际使用的时候，我们一般只会考虑ZeRO-2和ZeRO-3。而ZeRO的实现方法，就是把参数占用，逻辑上分成三种类型。
2024-04-18 14:43:03
654
原创 isascii、isdecimal、isdigit、isnumeric、isprintable、islower、isupper、isalpha、isalnum到底有什么异同
在使用python进行文本预处理时，经常会用到以上函数，那么它们到底有什么异同？
2024-04-16 16:48:31
317
原创 linux 的split命令如何确保split出来的多个文件，每个文件都 带上原始文件开头的第一行
split_with_header.sh如下。
2024-04-11 07:15:37
334
原创 hanlp的使用
hanlp最流行的是java的1.*版本（代码支持python和java），但是后来研发了2.0版本（代码仅支持python），2.0的版本是深度学习版本，功能也很多，但是貌似没有1.*那么流行。本文重点介绍1.*版本的使用（以v1.8.4为例）
2024-03-29 17:46:14
497
原创 报错：failed to initialize nvml driver/library version mismatch
【代码】报错：failed to initialize nvml driver/library version mismatch。
2024-03-23 16:27:58
1507
1
原创 报错：openai.error.RateLimitError: You exceeded your current quota, please check your plan and billing
出现这个问题的原因是主要是在OpenAI的账户余额不足导致的。点击下面的Billing，然后点击Add to credit balance，即可开始充值。充值完成后，把原有API key 删除，然后新建一个key。以后都用这个新key即可。
2024-03-10 07:32:19
3414
原创 如何使用sort快速得对当前文件夹下所有文件大小进行排序
将上面的的代码保存至/usr/local/bin/sortfile，后面只需要执行sortfile命令即可。
2023-12-30 15:50:11
669
原创 报错:RuntimeError: CUDA error: no kernel image is available for execution on the device
例如，假设你的cuda版本是12.2，那么你可以将就着用下面的cuda12.1的torch版本。一般报这样的错，主要原因是torch版本和cuda版本不匹配导致的。，找到适合自己cuda的torch版本。
2023-12-28 10:12:25
8657
原创 docker报错：Got permission denied while trying to connect to the Docker daemon socket at unix:///var/ru
这个错误通常表示用户尝试执行与Docker守护程序通信的操作，但没有足够的权限。
2023-12-22 22:20:04
7150
1
原创 在打日志时，如何使用snowflake-id快速方便得随机获取query的唯一id
【代码】如何使用snowflake-id快速方便得随机获取query的唯一id。
2023-12-21 18:55:00
709
原创 npm笔记
如何安装npmhttps://cloud.tencent.com/developer/article/1772306
2023-11-12 20:16:44
144
原创 技术人做管理的思考
格鲁夫有过这样一句名言：一个经理人的产出，就等于他直接管辖和间接影响力所及的组织产出总和。a、b、c代表了管理杠杆率，A、B、C代表了各种管理活动。也就是说经理人的产出=组织产出的加权总和=a。
2023-09-13 22:10:53
172
原创 python多线程真是让人受够了
一、有8种不同的方法三、参考文献https://superfastpython.com/multiprocessing-pool-issue-tasks
2023-08-19 10:10:35
139
hanlp的data-for-1.7.5.zip
2024-03-29
八数码问题(附实验报告文档,java实现)
2010-04-21
EM算法(附实验报告文档,java实现)
2010-04-21
哈米尔顿环问题(c++实现)
2010-05-15
条件随机场（史上最牛条件随机场教程）
2010-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人