qq_40773212的博客

下面是一段火山引擎对大模型语音生成的说明。（注意合成 与 生成）传统的语音合成方法只局限在把对应的文本内容合成出来，对于语音的自然度、富文本以及多情感的关注其实比较少。而语音生成大模型在输入和输出方面表现都要更丰富。主要包含三个模块：（1）从富文本、参考语音等输入中去生成语音token这样一个自回归的transformer模型（2）从语音token重构出语音特征的常微分扩散模型Flow Matching（3）从语音特征合成出语音波形的声码器vocoder通常是根据给定的文本 或者 其他的一

使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据)即便在相对较差的显卡上也能快速训练使用最先进的人声音高提取算法InterSpeech2023-RMVPE根绝哑音问题。效果最好（显著地）但比crepe_full更快、资源占用更小使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏。

主要参考资料：GPT-SoVITS: 智能语音合成的新境界:你的声音，现在是我的了！- 手把手教你用 GPT-SoVITS 克隆声音！

主要参考资料AI Agent（或者LLM Agent）深度讲解——组成、方法、案例及展望:产品经理研读：Agent的九种设计模式(图解+代码):特工宇宙与产品二姐的AI趋势分享:

主要参考资料B站视频《Sora 夜谈之 Video Diffusion 综述》

主要参考资料：还没搞懂嵌入（Embedding）、微调（Fine-tuning）和提示工程（Prompt Engineering）？B站Up主Nenly同学《60分钟速通LORA训练！

RNN无法并行化，Transformer的二次复杂度，RWKV的改善。

主要参考资料：B站Up主贯一智能科技《国内外十大语言模型之横向对比测评》现在有非常多的开源测试数据集，比如MMLU、AGIEval、CEval但是根据Up主描述比较费时成本高，其次这类标准化评测更多考察模型在各个学科和领域的综合表现，不够直观。下面是Up主选择的10个方面。限制实验提示词一律使用汉语，每次测试后都会重启对话。

课程资料：https://github.com/sangyy/CUDA_Python。

最近在datawhale参加了一个用免费GPU线上跑AI项目的活动：【免费领取算力】注册即送168元算力金。Datawhale专属领取地址：https://growthdata.virtaicloud.com/t/vs【学习教程】第一个是传统的跑深度学习，第二个是部署大语言模型，第三个是部署生成图片模型。

这里我的CUDA driver version是12.2，CUDA runtime version是11.7 ，Pytorch2.0.1。按理说大模型应该与我这种只有一张入门级显卡的穷X没什么交集才对，就只能调用调用API，但是某一天让我发现了这个图。啊~6G显存，RTX2050有专用的4G显存+2G共享显存，哦？用Pycharm打开文件夹，添加Python解析器，我这里用的python虚拟环境，没有下载Conda。找到这两张图，其实RTX2050就是RTX3050开倒车回来的，显存位宽少了一半。

主要参考资料B站。