speech_recognition/FunASR

Fork 0

mirror of https://github.com/modelscope/FunASR synced 2025-09-15 14:48:36 +08:00

游雁 8c845e6dfd docs

2023-11-20 11:54:59 +08:00

12 KiB

Raw Blame History

(简体中文|English)

FunASR: A Fundamental End-to-End Speech Recognition Toolkit

FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！

核心功能｜最新动态｜安装｜快速开始｜教程文档｜模型仓库｜服务部署｜联系我们

核心功能

FunASR是一个基础语音识别工具包，提供多种功能，包括语音识别（ASR）、语音端点检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人对话语音识别等。FunASR提供了便捷的脚本和教程，支持预训练好的模型的推理与微调。
我们在ModelScope与huggingface上发布了大量开源数据集或者海量工业数据训练的模型，可以通过我们的模型仓库了解模型的详细信息。代表性的Paraformer非自回归端到端语音识别模型具有高精度、高效率、便捷部署的优点，支持快速构建语音识别服务，详细信息可以阅读(服务部署文档)。

安装教程

FunASR安装教程请阅读（Installation）

模型仓库

FunASR开源了大量在工业数据上预训练模型，您可以在模型许可协议下自由使用、复制、修改和分享FunASR模型，下面列举代表性的模型，更多模型请参考模型仓库。

（注：🤗表示Huggingface模型仓库链接，⭐表示ModelScope模型仓库链接）

模型名字	任务详情	训练数据	参数量
paraformer-zh (⭐ 🤗 )	语音识别，带时间戳输出，非实时	60000小时，中文	220M
paraformer-zh-spk ( ⭐ 🤗 )	分角色语音识别，带时间戳输出，非实时	60000小时，中文	220M
paraformer-zh-online ( ⭐ 🤗 )	语音识别，实时	60000小时，中文	220M
paraformer-en ( ⭐ 🤗 )	语音识别，非实时	50000小时，英文	220M
paraformer-en-spk (⭐ 🤗 )	语音识别，非实时	50000小时，英文	220M
conformer-en ( ⭐ 🤗 )	语音识别，非实时	50000小时，英文	220M
ct-punc ( ⭐ 🤗 )	标点恢复	100M，中文与英文	1.1G
fsmn-vad ( ⭐ 🤗 )	语音端点检测，实时	5000小时，中文与英文	0.4M
fa-zh ( ⭐ 🤗 )	字级别时间戳预测	50000小时，中文	38M

快速开始

FunASR支持数万小时工业数据训练的模型的推理和微调，详细信息可以参阅（modelscope_egs）；也支持学术标准数据集模型的训练和微调，详细信息可以参阅（egs）。

下面为快速上手教程，测试音频（中文，英文）

可执行命令行

funasr --model paraformer-zh asr_example_zh.wav

注：支持单条音频文件识别，也支持文件列表，列表为kaldi风格wav.scp：wav_id wav_path

非实时语音识别

from funasr import infer

p = infer(model="paraformer-zh", vad_model="fsmn-vad", punc_model="ct-punc", model_hub="ms")

res = p("asr_example_zh.wav", batch_size_token=5000)
print(res)

注：model_hub：表示模型仓库，ms为选择modelscope下载，hf为选择huggingface下载。

实时语音识别

from funasr import infer

p = infer(model="paraformer-zh-streaming", model_hub="ms")

chunk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
param_dict = {"cache": dict(), "is_final": False, "chunk_size": chunk_size, "encoder_chunk_look_back": 4, "decoder_chunk_look_back": 1}

import torchaudio
speech = torchaudio.load("asr_example_zh.wav")[0][0]
speech_length = speech.shape[0]

stride_size = chunk_size[1] * 960
sample_offset = 0
for sample_offset in range(0, speech_length, min(stride_size, speech_length - sample_offset)):
    param_dict["is_final"] = True if sample_offset + stride_size >= speech_length - 1 else False
    input = speech[sample_offset: sample_offset + stride_size]
    rec_result = p(input=input, param_dict=param_dict)
    print(rec_result)

注：chunk_size为流式延时配置，[0,10,5]表示上屏实时出字粒度为10*60=600ms，未来信息为5*60=300ms。每次推理输入为600ms（采样点数为16000*0.6=960），输出为对应文字，最后一个语音片段输入需要设置is_final=True来强制输出最后一个字。

更多详细用法（新人文档）

服务部署

FunASR支持预训练或者进一步微调的模型进行服务部署。目前支持以下几种服务部署：

中文离线文件转写服务（CPU版本），已完成
中文流式语音识别服务（CPU版本），已完成
英文离线文件转写服务（CPU版本），已完成
中文离线文件转写服务（GPU版本），进行中
更多支持中

详细信息可以参阅(服务部署文档)。

联系我们

如果您在使用中遇到问题，可以直接在github页面提Issues。欢迎语音兴趣爱好者扫描以下的钉钉群或者微信群二维码加入社区群，进行交流和讨论。

钉钉群	微信

社区贡献者

贡献者名单请参考（致谢名单）

许可协议

项目遵循The MIT License开源协议，模型许可协议请参考（模型协议）

论文引用

@inproceedings{gao2023funasr,
  author={Zhifu Gao and Zerui Li and Jiaming Wang and Haoneng Luo and Xian Shi and Mengzhe Chen and Yabin Li and Lingyun Zuo and Zhihao Du and Zhangyu Xiao and Shiliang Zhang},
  title={FunASR: A Fundamental End-to-End Speech Recognition Toolkit},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{An2023bat,
  author={Keyu An and Xian Shi and Shiliang Zhang},
  title={BAT: Boundary aware transducer for memory-efficient and low-latency ASR},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{gao22b_interspeech,
  author={Zhifu Gao and ShiLiang Zhang and Ian McLoughlin and Zhijie Yan},
  title={{Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition}},
  year=2022,
  booktitle={Proc. Interspeech 2022},
  pages={2063--2067},
  doi={10.21437/Interspeech.2022-9996}
}

12 KiB Raw Blame History Unescape Escape