no1francis的专栏

比较火的GPT-SoVits，他可以很快的用很短的参考音频来模仿生成很接近的声音，也有一定的预期情感的表达。

当前主流的开源TTS框架，这里介绍部署该服务的主要流程和我在使用过程中出现的问题。

PaddleSpeech是飞浆平台的一款TTS框架。

一款基于DINet的的模型，实现实时数字人驱动的框架。

DH_live的训练遵循DINet的模型，用更高清的分辨率可以训练出更好的牙齿和唇形。再就是中文训练集以及更多的原始素材会训练出更好的效果。

TTS软件效果里，微软推出的免费使用的Edge-TTS平台是效果比较好的，但是目前该平台开始对国内阻止使用了。这里给大家和我一样使用该python库的小伙伴一个临时的解决方法。

这样再次创建的容器就可以进行运行环境部署了，这里说明一下这么做的原因，默认的jupyter环境会导致我们运行脚本的时候不会运行启动jupyter环境，这样就会服务运行的时候没有办法通过jupyter进行调试和查看。而使用脚本启动的jupyter环境和我们默认使用的用户环境不同，会导致一些已经配置好的环境文件的丢失。在我们学习使用各种AI的学习框架的时候，通常会使用Conda，如果我们想要将研究的框架发布到服务器来使用的时候就需要一些部署的方案，这里我们的方案就是Docker+Jupyter的方式。

ER-Nerf的自带预处理视频功能，会提取头像的黑百、轮廓、肢体、语音、背景等一系列训练资源。在你的源码目录的data目录下，创建一个你个人的要训练视频的子目录，在这里我的目录是。fullbody.mp4就是我准备好的全身的数字人的视频。使用conda 创建一个训练的python环境。使用ffmpeg命令来提取训练时的人脸视频。

使用专业的剪辑工具对视频进行抠图处理，尽量使用绿幕的背景方便后期替换背景。1、数字人采用循环的播放模式，时长越长会降低出现前后拼接的现象。使用万兴喵影对视频进行抠图后的效果。2、数字人的训练效果会显著提升。大于1分钟（60秒）的视频。在导出视频时的配置选项。

PaddleHub模型在学习的时候会出现PaddlePaddle版本导致的无法正常使用，推荐大家使用下面的指定版本下载PaddlePaddle。在关键点数据集才用COCO数据集和MPII数据集，下面列出 COCO数据集的基础结构。