Docker on Harry AI

阿里开源 CosyVoice 语音克隆部署和使用

harryliuwx888@gmail.com (Harry) — Sat, 03 Aug 2024 12:30:01 +0800

应该是 开源界音色最稳定 的语音合成和克隆模型了，支持预训练音色合成、自然语言控制、3秒极速复刻和跨语种复刻。

官方部署方式比较复杂，错误较多，我这里进行了整理和优化，支持GPU和CPU，方便大家使用。

CosyVoice 开源仓库: CosyVoice

效果展示

自然语言控制

3秒极速复刻

使用方法

均支持 GPU 和 CPU

第一次启动过程可能会有点长，需要从魔搭下载3个模型

Windows 一键启动包

百度网盘: https://pan.baidu.com/s/1UTuRKPQ9nuQk69qxQzdL4A?pwd=j2ei 提取码: j2ei

下载后使用 7z 解压。没有 7z 的话，可以在这里下载：https://7-zip.org/download.html
双击 双击启动.bat 启动服务
启动后，访问 http://127.0.0.1:50000/

注意：文件夹中不能有中文、特殊字符和空格，否则可能会启动失败

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

CPU 版本

1
2

curl -fsSL https://harryai.cc/cosyvoice/docker-compose.yml -o docker-compose.yml
docker-compose up

GPU 版本

1
2

curl -fsSL https://harryai.cc/cosyvoice/docker-compose-gpu.yml -o docker-compose.yml
docker-compose up

docker 启动后，访问 http://127.0.0.1:50000/

FunASR实时语音识别部署和使用

harryliuwx888@gmail.com (Harry) — Thu, 25 Jul 2024 20:30:01 +0800

FunASR 模型的整理和集成，Docker一键启动，能够实时识别语音输入，准确度非常高

项目地址：https://github.com/harry0703/AudioNotes

FunASR开源仓库: https://github.com/modelscope/FunASR

效果展示

使用方法

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

1
2

curl -fsSL https://harryai.cc/realtime-funasr/docker-compose.yml -o docker-compose.yml
docker-compose up

注意：第一次启动过程可能会有点长，需要从魔搭下载4个模型

FSMN-VAD模型,

Paraformer-lagre实时模型,

CT-Transformer标点预测模型,

基于FST的中文ITN

docker 启动后，访问 http://localhost:10096/

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

2pass: （默认）实时语音识别，并且句尾采用离线模型进行纠错（准确度更高）
online: 实时语音识别
offline: 一句话识别

② 逆文本标准化（ITN）

是: （默认）表示进行逆文本标准化
否: 表示不进行逆文本标准化

逆文本标准化（Inverse Text Normalization, ITN） 是语音识别和自然语言处理领域的一种技术，用于将自动语音识别（ASR）系统生成的文本转化为更自然和可读的格式。这是对文本标准化（Text Normalization, TN）的逆过程。

逆文本标准化的目的

当语音被转换为文本时，ASR 系统通常会输出一种更标准化的文本形式。例如：

数字 “123” 可能会被识别为 “一二三” 或 “123”。
日期 “2024年7月25日” 可能会被识别为 “二零二四年七月二十五日” 或 “2024年7月25日”。

这些输出虽然标准化，但不一定是人们习惯书写或阅读的格式。 ITN 的作用是将这些标准化的文本转换回更自然、更符合书面习惯的形式。例如：

“一二三” 转换为 “123”
“二零二四年七月二十五日” 转换为 “2024年7月25日”
“五千七百六十三” 转换为 “5763”

👉👉如果你想使用API，请参考以下文档

系统架构图

注意：

10096端口为网页界面

10095端口为websocket通信端口 >

🅰️ 从客户端往服务端发送数据

消息格式

配置参数用json，音频数据采用bytes

① 首次通信

客户端发送配置参数

{
 "chunk_size": [
 5,
 10,
 5
 ],
 "wav_name": "h5",
 "is_speaking": true,
 "wav_format": "pcm",
 "chunk_interval": 10,
 "itn": true,
 "mode": "2pass",
 "hotwords": "{\"阿里巴巴\":20,\"hello world\":40}"
}

参数说明：

wav_name：表示需要推理音频文件名
wav_format：表示音视频文件后缀名，只支持pcm音频流
is_speaking：表示断句尾点，例如，vad切割点，或者一条wav结束
chunk_size：表示流式模型latency配置，[5,10,5]，表示当前音频为600ms，并且回看300ms，又看300ms。
hotwords：如果使用热词，需要向服务端发送热词数据（字符串），格式为 “{“阿里巴巴”:20,“通义实验室”:30}”
itn: 设置是否使用itn，默认 true

② 发送音频数据

直接将音频数据移除头部信息后，使用 bytes 数据发送，支持音频采样率为8000

③ 发送结束标志

音频数据发送结束后，需要发送结束标志

1
2
3

{
 "is_speaking": false
}

🅱️ 从服务端往客户端发数据

发送识别结果

识别中

{
 "is_final": false,
 "mode": "2pass-online",
 "text": "阿里",
 "wav_name": "h5"
}

识别结束

{
 "is_final": false,
 "mode": "2pass-offline",
 "stamp_sents": [
 {
 "end": 4385,
 "punc": "",
 "start": 820,
 "text_seg": "阿 里 开 源 的 语 音 识 别 真 是 太 牛 了"
 }
 ],
 "text": "阿里开源的语音识别真是太牛了",
 "timestamp": "[[820,1060],[1060,1319],[1319,1480],[1480,1760],[1760,2220],[2220,2420],[2420,2659],[2659,2820],[2820,3300],[3300,3480],[3480,3659],[3659,3820],[3820,4060],[4060,4385]]",
 "wav_name": "h5"
}

参数说明：

mode：推理模式
- 2pass-online：表示实时识别结果
- 2pass-offline：表示2遍修正识别结果
wav_name：需要推理音频文件名
text：语音识别输出文本

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

如果你是在其他电脑或服务器上部署的服务，而不是在本地，当你打开页面后，可能会遇到这个问题。

假设服务器IP是 192.168.1.170，打开的页面是 http://192.168.1.170:10096/

解决方法：

Chrome浏览器

在浏览器地址栏输入 chrome://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

Edge浏览器

在浏览器地址栏输入 edge://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

手把手教你把AI大模型本地知识库问答接入个人微信，实现微信内的AI智能客服

harryliuwx888@gmail.com (Harry) — Mon, 29 Apr 2024 07:56:01 +0800

前提

先搭建好 本地化的企业级知识库问答系统 ，参考《手把手教你构建一个本地化的，免费的，企业级的，AI大模型知识库问答系统》

下载Docker启动文件

因为 ChatGPT-On-WeChat 代码有 Bug，作者一直未修复，因此我修改后，重新打了一个Docker镜像，避免大家踩坑。

1
2
3

mkdir chatgpt-on-wechat
cd chatgpt-on-wechat
curl -O https://harryai.cc/chatgpt-on-wechat/docker-compose.yml

修改配置文件

打开 docker-compose.yml 文件，修改 OPEN_AI_API_KEY 和 OPEN_AI_API_BASE 为你的 FastGPT 的 API Key 和 API 地址。

version: '2.0'
services:
 chatgpt-on-wechat:
 image: harryliu888/chatgpt-on-wechat:latest
 container_name: chatgpt-on-wechat
 security_opt:
 - seccomp:unconfined
 environment:
 # OPEN_AI_API_KEY 在 FastGPT 的 应用发布页面生成（API访问）
 OPEN_AI_API_KEY: 'fastgpt-iAt0KIDwpZqFvxfpmWstAkars36s0ASBENYKYLGSwJcf7NuCn2NzT'
 # OPEN_AI_API_BASE 填写 FastGPT 的 API 地址
 # 特别注意，如果 chatgpt-on-wechat 是docker部署的，因此要访问外部的 FastGPT，这里需要使用 host.docker.internal
 OPEN_AI_API_BASE: 'http://host.docker.internal:3000/api/v1'

 MODEL: 'gpt-3.5-turbo'
 PROXY: ''
 SINGLE_CHAT_PREFIX: '["bot", "@bot"]'
 SINGLE_CHAT_REPLY_PREFIX: '"[bot] "'
 GROUP_CHAT_PREFIX: '["@bot"]'
 GROUP_NAME_WHITE_LIST: '["ChatGPT测试群", "ChatGPT测试群2"]'
 IMAGE_CREATE_PREFIX: '["画", "看", "找"]'
 CONVERSATION_MAX_TOKENS: 1000
 SPEECH_RECOGNITION: 'False'
 CHARACTER_DESC: '你是ChatGPT, 一个由OpenAI训练的大型语言模型, 你旨在回答并解决人们的任何问题，并且可以使用多种语言与人交流。'
 EXPIRES_IN_SECONDS: 3600
 USE_GLOBAL_PLUGIN_CONFIG: 'True'
 USE_LINKAI: 'False'
 LINKAI_API_KEY: ''
 LINKAI_APP_CODE: ''
 extra_hosts:
 - 'host.docker.internal:host-gateway'

启动Docker

1
2

cd chatgpt-on-wechat
docker-compose up

Docker on Harry AI

阿里开源 CosyVoice 语音克隆 部署和使用

效果展示

自然语言控制

3秒极速复刻

使用方法

Windows 一键启动包

Docker部署🐳

CPU 版本

GPU 版本

FunASR实时语音识别部署和使用

效果展示

使用方法

Docker部署🐳

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

② 逆文本标准化（ITN）

👉👉如果你想使用API，请参考以下文档

系统架构图

🅰️ 从客户端往服务端发送数据

消息格式

① 首次通信

② 发送音频数据

③ 发送结束标志

🅱️ 从服务端往客户端发数据

发送识别结果

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

Chrome浏览器

Edge浏览器

手把手教你把AI大模型本地知识库问答接入个人微信，实现微信内的AI智能客服

下载Docker启动文件

修改配置文件

启动Docker

阿里开源 CosyVoice 语音克隆部署和使用