FunASR实时语音识别部署和使用

harryliuwx888@gmail.com (Harry) — Thu, 25 Jul 2024 20:30:01 +0800

FunASR 模型的整理和集成，Docker一键启动，能够实时识别语音输入，准确度非常高

项目地址：https://github.com/harry0703/AudioNotes

FunASR开源仓库: https://github.com/modelscope/FunASR

效果展示

使用方法

Docker部署🐳

确保已经安装了Docker软件，没有的话，从官网下载安装 https://www.docker.com/products/docker-desktop/

复制以下代码到终端运行即可

1
2

curl -fsSL https://harryai.cc/realtime-funasr/docker-compose.yml -o docker-compose.yml
docker-compose up

注意：第一次启动过程可能会有点长，需要从魔搭下载4个模型

FSMN-VAD模型,

Paraformer-lagre实时模型,

CT-Transformer标点预测模型,

基于FST的中文ITN

docker 启动后，访问 http://localhost:10096/

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

2pass: （默认）实时语音识别，并且句尾采用离线模型进行纠错（准确度更高）
online: 实时语音识别
offline: 一句话识别

② 逆文本标准化（ITN）

是: （默认）表示进行逆文本标准化
否: 表示不进行逆文本标准化

逆文本标准化（Inverse Text Normalization, ITN） 是语音识别和自然语言处理领域的一种技术，用于将自动语音识别（ASR）系统生成的文本转化为更自然和可读的格式。这是对文本标准化（Text Normalization, TN）的逆过程。

逆文本标准化的目的

当语音被转换为文本时，ASR 系统通常会输出一种更标准化的文本形式。例如：

数字 “123” 可能会被识别为 “一二三” 或 “123”。
日期 “2024年7月25日” 可能会被识别为 “二零二四年七月二十五日” 或 “2024年7月25日”。

这些输出虽然标准化，但不一定是人们习惯书写或阅读的格式。 ITN 的作用是将这些标准化的文本转换回更自然、更符合书面习惯的形式。例如：

“一二三” 转换为 “123”
“二零二四年七月二十五日” 转换为 “2024年7月25日”
“五千七百六十三” 转换为 “5763”

👉👉如果你想使用API，请参考以下文档

系统架构图

注意：

10096端口为网页界面

10095端口为websocket通信端口 >

🅰️ 从客户端往服务端发送数据

消息格式

配置参数用json，音频数据采用bytes

① 首次通信

客户端发送配置参数

{
 "chunk_size": [
 5,
 10,
 5
 ],
 "wav_name": "h5",
 "is_speaking": true,
 "wav_format": "pcm",
 "chunk_interval": 10,
 "itn": true,
 "mode": "2pass",
 "hotwords": "{\"阿里巴巴\":20,\"hello world\":40}"
}

参数说明：

wav_name：表示需要推理音频文件名
wav_format：表示音视频文件后缀名，只支持pcm音频流
is_speaking：表示断句尾点，例如，vad切割点，或者一条wav结束
chunk_size：表示流式模型latency配置，[5,10,5]，表示当前音频为600ms，并且回看300ms，又看300ms。
hotwords：如果使用热词，需要向服务端发送热词数据（字符串），格式为 “{“阿里巴巴”:20,“通义实验室”:30}”
itn: 设置是否使用itn，默认 true

② 发送音频数据

直接将音频数据移除头部信息后，使用 bytes 数据发送，支持音频采样率为8000

③ 发送结束标志

音频数据发送结束后，需要发送结束标志

1
2
3

{
 "is_speaking": false
}

🅱️ 从服务端往客户端发数据

发送识别结果

识别中

{
 "is_final": false,
 "mode": "2pass-online",
 "text": "阿里",
 "wav_name": "h5"
}

识别结束

{
 "is_final": false,
 "mode": "2pass-offline",
 "stamp_sents": [
 {
 "end": 4385,
 "punc": "",
 "start": 820,
 "text_seg": "阿 里 开 源 的 语 音 识 别 真 是 太 牛 了"
 }
 ],
 "text": "阿里开源的语音识别真是太牛了",
 "timestamp": "[[820,1060],[1060,1319],[1319,1480],[1480,1760],[1760,2220],[2220,2420],[2420,2659],[2659,2820],[2820,3300],[3300,3480],[3480,3659],[3659,3820],[3820,4060],[4060,4385]]",
 "wav_name": "h5"
}

参数说明：

mode：推理模式
- 2pass-online：表示实时识别结果
- 2pass-offline：表示2遍修正识别结果
wav_name：需要推理音频文件名
text：语音识别输出文本

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

如果你是在其他电脑或服务器上部署的服务，而不是在本地，当你打开页面后，可能会遇到这个问题。

假设服务器IP是 192.168.1.170，打开的页面是 http://192.168.1.170:10096/

解决方法：

Chrome浏览器

在浏览器地址栏输入 chrome://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

Edge浏览器

在浏览器地址栏输入 edge://flags/#unsafely-treat-insecure-origin-as-secure
把 http://192.168.1.170:10096/ 添加到输入框内
将 Insecure origins treated as secure 设置为 Enabled
重启浏览器

如何利用本地模型，将音视频整理成一份结构化的Markdown笔记

harryliuwx888@gmail.com (Harry) — Fri, 19 Jul 2024 15:16:01 +0800

项目地址：https://github.com/harry0703/AudioNotes

基于 FunASR 和 Qwen2 构建的音视频转结构化笔记系统

能够快速提取音视频的内容，并且调用大模型进行整理，成为一份结构化的markdown笔记，方便快速阅读

FunASR: https://github.com/modelscope/FunASR

Qwen2: https://ollama.com/library/qwen2

效果展示

音视频识别和整理

与音视频内容对话

使用方法

① 安装 Ollama

下载对应系统的 Ollama 安装包进行安装

https://ollama.com/download

② 拉取模型

我以 阿里的千问2 7b 为例 https://ollama.com/library/qwen2

`1`	`ollama pull qwen2:7b`

Docker部署（推荐）🐳

1
2

curl -fsSL https://harryai.cc/audio-notes/docker-compose.yml -o docker-compose.yml
docker-compose up

docker 启动后，访问 http://localhost:15433/

登录账号为 admin，密码为 admin （可以在 docker-compose.yml 文件里面修改）

本地部署 📦

需要有可访问的 postgresql 数据库

conda create -n AudioNotes python=3.10 -y
conda activate AudioNotes
git clone https://github.com/harry0703/AudioNotes.git
cd AudioNotes
pip install -r requirements.txt

将 .env.example 重命名为 .env，修改相关配置信息

`1`	`chainlit run main.py`

服务启动后，访问 http://localhost:8000/

登录账号为 admin，密码为 admin （可以在 docker-compose.yml 文件里面修改）

FunASR on Harry AI

FunASR实时语音识别部署和使用

效果展示

使用方法

Docker部署🐳

👉👉 如果你想了解更多，可以往下看

参数说明

① 模型模式

② 逆文本标准化（ITN）

👉👉如果你想使用API，请参考以下文档

系统架构图

🅰️ 从客户端往服务端发送数据

消息格式

① 首次通信

② 发送音频数据

③ 发送结束标志

🅱️ 从服务端往客户端发数据

发送识别结果

👉👉踩坑

报错：录音open失败：浏览器禁止不安全页面录音

Chrome浏览器

Edge浏览器

如何利用本地模型，将音视频整理成一份结构化的Markdown笔记

基于 FunASR 和 Qwen2 构建的音视频转结构化笔记系统

效果展示

音视频识别和整理

与音视频内容对话

使用方法

① 安装 Ollama

② 拉取模型

Docker部署（推荐）🐳

本地部署 📦