本地部署 on Harry AI

阿里开源 CosyVoice 语音克隆部署和使用

harryliuwx888@gmail.com (Harry) — Sat, 03 Aug 2024 12:30:01 +0800

应该是 开源界音色最稳定 的语音合成和克隆模型了，支持预训练音色合成、自然语言控制、3秒极速复刻和跨语种复刻。

官方部署方式比较复杂，错误较多，我这里进行了整理和优化，支持GPU和CPU，方便大家使用。

CosyVoice 开源仓库: CosyVoice

效果展示

自然语言控制

3秒极速复刻

使用方法

均支持 GPU 和 CPU

第一次启动过程可能会有点长，需要从魔搭下载3个模型

Windows 一键启动包

百度网盘: https://pan.baidu.com/s/1UTuRKPQ9nuQk69qxQzdL4A?pwd=j2ei 提取码: j2ei

下载后使用 7z 解压。没有 7z 的话，可以在这里下载：https://7-zip.org/download.html
双击 双击启动.bat 启动服务
启动后，访问 http://127.0.0.1:50000/

注意：文件夹中不能有中文、特殊字符和空格，否则可能会启动失败

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

CPU 版本

1
2

curl -fsSL https://harryai.cc/cosyvoice/docker-compose.yml -o docker-compose.yml
docker-compose up

GPU 版本

1
2

curl -fsSL https://harryai.cc/cosyvoice/docker-compose-gpu.yml -o docker-compose.yml
docker-compose up

docker 启动后，访问 http://127.0.0.1:50000/

ChatTTS 开源语音合成服务的部署和使用

harryliuwx888@gmail.com (Harry) — Wed, 29 May 2024 20:16:01 +0800

项目地址：https://github.com/2noise/ChatTTS

Windows 用户建议直接下载一键启动包，运行环境和模型都已经配置好，使用更简单。

Windows 一键启动包

百度网盘下载：https://pan.baidu.com/s/1wfdqQDTzDnMf01bV1wzKgQ?pwd=v2kb 提取码：v2kb

解压密码：harryai

下载后解压，然后双击 启动服务.bat 即可。

启动成功后，会自动打开 http://localhost:8845/ 页面。

输入文本内容，即可合成语音。

手动部署

1. 下载代码

点击下载代码压缩包，然后解压到本地。

2. 下载模型

从魔搭下载 https://www.modelscope.cn/models/pzc163/chatTTS/summary 建议使用 git 克隆

`1`	`git clone https://www.modelscope.cn/pzc163/chatTTS.git`

注意：魔搭里面缺少文件 spk_stat.pt，点击这里下载，然后放到 chatTTS/asset 目录下。

再将下载的整个文件夹，放到 models 文件夹下，结构如下：

3. 安装依赖

`1`	`pip install -r requirements.txt`

4. 启动服务

`1`	`python webui.py`

启动成功后，会自动打开 http://localhost:8845/ 页面，输入文本内容，即可合成语音。

只需3分钟，基于 LLaMA3-8B 微调一个属于你自己的嬛嬛

harryliuwx888@gmail.com (Harry) — Fri, 03 May 2024 17:56:01 +0800

注意：没有GPU，也可以微调一个属于你自己的大模型，只是微调的时间长一点而已，建议晚上睡觉前运行，第二天早上就可以使用了 😄

效果演示

部署环境

点击下载 LLaMA3-8B 微调代码压缩包
将下载的压缩包解压
在 终端 (macOS) 或 cmd命令提示符 (Windows) 里面，进入解压后的文件夹，创建一个新的 Conda 虚拟环境

未安装 Conda 的用户，可以到 Conda官网下载安装。
1 2 3

cd llama3-ft conda create -n llama3-ft python=3.10 conda activate llama3-ft
安装依赖包
1

pip install -r requirements.txt

数据准备

你可以直接使用 dataset/huanhuan.json 数据集（该数据集来源于 https://github.com/KMnO4-zx ），也可以自己准备数据集，比如你的客服对话（FAQ）数据集，这样就可以微调一个更适合你的智能客服的模型，客服回答更准确。

数据集的格式也比较简单，示例如下：

instruction 是问题
output 是回答

[
 {
 "instruction": "你好",
 "input": "",
 "output": "皇上好，我是甄嬛，家父是大理寺少卿甄远道。"
 },
 {
 "instruction": "你不愿意见我？",
 "input": "",
 "output": "不该相见自然不愿见，还望王爷尊重我的意愿。"
 }
]

模型微调

模型选择

我使用的是 LLM-Research/Meta-Llama-3-8B-Instruct ，你也可以选择一个其他模型，只需要修改 train.py 文件里面的 model_id 变量即可。

由于国内访问 HuggingFace 比较困难，因此使用 ModelScope 提供的模型。

# 需要微调的基座模型

# https://www.modelscope.cn/studios/LLM-Research/Chat_Llama-3-8B/summary
model_id = 'LLM-Research/Meta-Llama-3-8B-Instruct'

# 比如你也可以使用 Qwen1.5-4B-Chat 模型
# https://www.modelscope.cn/models/qwen/Qwen1.5-4B-Chat/summary
# model_id = 'qwen/Qwen1.5-4B-Chat'

开始微调

只需要在项目根目录下执行以下命令即可。

`1`	`python train.py`

或者可以打开 LLaMA3-8B-Instruct Lora.ipynb 文件，使用 Jupyter Notebook 进行微调。

注意：

微调的时间会根据你的数据集大小和模型大小而定。我由于没有 GPU，因此耗时2个小时，如果你有 GPU，大概需要 30 分钟。
代码会自动下载模型，然后开始微调

微调完成后，所有的文件会保存在 models 文件夹下面，结构如下：

├── models
 ├── checkpoint #【模型微调的 checkpoint】
 │ ├── LLM-Research
 │ │ └── Meta-Llama-3-8B-Instruct
 │ │ ├── checkpoint-100
 │ │ ├── checkpoint-200
 │ │ ├── checkpoint-xxx
 │ └── qwen
 │ └── Qwen1.5-4B-Chat
 │ ├── checkpoint-100
 │ ├── checkpoint-200
 │ ├── checkpoint-xxx
 ├── lora #【模型微调的 lora 文件】
 │ ├── LLM-Research
 │ │ └── Meta-Llama-3-8B-Instruct
 │ └── qwen
 │ └── Qwen1.5-4B-Chat
 └── model #【自动下载的基座模型】
 ├── LLM-Research
 │ └── Meta-Llama-3-8B-Instruct
 └── qwen
 └── Qwen1___5-4B-Chat

模型测试

微调完成后，你可以执行以下命令启动一个 ChatBot 进行对话测试。

`1`	`streamlit run chat.py`

该命令执行后，会自动打开浏览器对话页面

本地部署 on Harry AI

阿里开源 CosyVoice 语音克隆 部署和使用

效果展示

自然语言控制

3秒极速复刻

使用方法

Windows 一键启动包

Docker部署🐳

CPU 版本

GPU 版本

ChatTTS 开源语音合成服务的部署和使用

Windows 一键启动包

手动部署

1. 下载代码

2. 下载模型

3. 安装依赖

4. 启动服务

只需3分钟，基于 LLaMA3-8B 微调一个属于你自己的嬛嬛

效果演示

部署环境

数据准备

模型微调

模型选择

开始微调

模型测试

阿里开源 CosyVoice 语音克隆部署和使用