From c9ee0e9c77a3fe8887dcec97d46ac697b05abb88 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=B8=B8=E9=9B=81?= Date: Fri, 3 Mar 2023 22:18:41 +0800 Subject: [PATCH] cpp onnxruntime --- funasr/runtime/onnxruntime/readme.md | 64 ++++++++++++++-------------- 1 file changed, 33 insertions(+), 31 deletions(-) diff --git a/funasr/runtime/onnxruntime/readme.md b/funasr/runtime/onnxruntime/readme.md index 56e9787f0..c13fe4a64 100644 --- a/funasr/runtime/onnxruntime/readme.md +++ b/funasr/runtime/onnxruntime/readme.md @@ -1,36 +1,5 @@ -## 特别鸣谢 - -本程序中的预处理及后处理代码,来自于:https://github.com/chenkui164/FastASR - -## 线程数与性能关系 - -测试环境Rocky Linux 8,仅测试cpp版本结果(未测python版本),@acely - -简述: -在3台配置不同的机器上分别编译并测试,在fftw和onnxruntime版本都相同的前提下,识别同一个30分钟的音频文件,分别测试不同onnx线程数量的表现。 - -![线程数关系](images/threadnum.png "Windows ASR") - -目前可以总结出大致规律: - -并非onnx线程数越多越好 -2线程比1线程提升显著,线程再多则提升较小 -线程数等于CPU物理核心数时效率最好 -实操建议: - -大部分场景用3-4线程性价比最高 -低配机器用2线程合适 - - - -## 演示 - -![Windows演示](images/demo.png "Windows ASR") - -## 注意 -本程序只支持 采样率16000hz, 位深16bit的 **单声道** 音频。 ## 快速使用 @@ -105,3 +74,36 @@ onnxruntime_xxx ├───include └───lib ``` + +## 线程数与性能关系 + +测试环境Rocky Linux 8,仅测试cpp版本结果(未测python版本),@acely + +简述: +在3台配置不同的机器上分别编译并测试,在fftw和onnxruntime版本都相同的前提下,识别同一个30分钟的音频文件,分别测试不同onnx线程数量的表现。 + +![线程数关系](images/threadnum.png "Windows ASR") + +目前可以总结出大致规律: + +并非onnx线程数越多越好 +2线程比1线程提升显著,线程再多则提升较小 +线程数等于CPU物理核心数时效率最好 +实操建议: + +大部分场景用3-4线程性价比最高 +低配机器用2线程合适 + + + +## 演示 + +![Windows演示](images/demo.png "Windows ASR") + +## 注意 +本程序只支持 采样率16000hz, 位深16bit的 **单声道** 音频。 + + +## Acknowledge +1. We acknowledge [mayong](https://github.com/RapidAI/RapidASR/tree/main/cpp_onnx) for contributing the onnxruntime(cpp api). +2. We borrowed a lot of code from [FastASR](https://github.com/chenkui164/FastASR) for audio frontend and text-postprocess. \ No newline at end of file