一个可在B站直播的AI虚拟直播主播程序展示。项目使用ChatGPT作为AI引擎驱动逻辑, 使用VITS进行语音合成,使用Live2D做角色表现。
- 使用ChatGPT作为AI引擎,具体使用了ChatGPT(revChatGPT)第三方库
- 使用VITS进行语音合成,具体使用的是崩坏3和马娘数据集训练的中日语言权重。这里是该语音合成模型Demo
- 使用Live2D做角色表现
- 使用VTube Studio API驱动角色表情动画,使用ChatGPT获得角色说话感情。具体使用第三方库pyvts
- 整个项目使用多进程并行优化,弹幕拉取、请求ChatGPT服务、声音合成、语音播放以及动画控制全部并行处理,保证角色与观众实时互时的响应速度
- 点歌功能,角色在唱歌途中会答谢观众的点赞和礼物。歌曲曲目使用AI变音技术(Sovits,DiffSVC等)制作。
- 简单的字幕界面
python app.py
烂活儿组:
- CjangCjengh GitHub主页 B站主页
感谢他设计的跨语言注音和训练方法。项目地址 - Saya睡大觉中 GitHub主页 B站主页
感谢他训练的高质量赛马娘中日权重。B站展示视频 在线Demo
烂活儿组群魔乱舞QQ群:601520631