OmniSenseVoice

This commit is contained in:
游雁 2024-10-18 11:29:52 +08:00
parent 8d8a472c2d
commit de00f2b75c
3 changed files with 3 additions and 0 deletions

View File

@ -366,6 +366,7 @@ python webui.py
- Sherpa-onnx Deployment Best Practices: Supports using SenseVoice in 10 programming languages: C++, C, Python, C#, Go, Swift, Kotlin, Java, JavaScript, and Dart. Also supports deploying SenseVoice on platforms like iOS, Android, and Raspberry Pi. [Repository](https://k2-fsa.github.io/sherpa/onnx/sense-voice/index.html)
- [SenseVoice.cpp](https://github.com/lovemefan/SenseVoice.cpp). Inference of SenseVoice in pure C/C++ based on GGML, supporting 3-bit, 4-bit, 5-bit, 8-bit quantization, etc. with no third-party dependencies.
- [streaming-sensevoice](https://github.com/pengzhendong/streaming-sensevoice) processes inference in chunks. To achieve pseudo-streaming, it employs a truncated attention mechanism, sacrificing some accuracy. Additionally, this technology supports CTC prefix beam search and hot-word boosting features.
- [OmniSenseVoice](https://github.com/lifeiteng/OmniSenseVoice) is optimized for lightning-fast inference and batching process.
<a name="Community"></a>
# Community

View File

@ -346,6 +346,7 @@ python webui.py
- Sherpa-onnx デプロイメントのベストプラクティスSenseVoice を10種類のプログラミング言語C++, C, Python, C#, Go, Swift, Kotlin, Java, JavaScript, Dartで使用可能。また、iOS, Android, Raspberry Pi などのプラットフォームでも SenseVoice をデプロイできます。[リポジトリ](https://k2-fsa.github.io/sherpa/onnx/sense-voice/index.html)
- [SenseVoice.cpp](https://github.com/lovemefan/SenseVoice.cpp) GGMLに基づいて純粋なC/C++でSenseVoiceを推測し、3ビット、4ビット、5ビット、8ビット量子化などをサポートし、サードパーティの依存関係はありません。
- [streaming-sensevoice](https://github.com/pengzhendong/streaming-sensevoice) ストリーム型SenseVoiceは、チャンクchunk方式で推論を行います。擬似ストリーミング処理を実現するために、一部の精度を犠牲にして切り捨て注意機構truncated attentionを採用しています。さらに、この技術はCTCプレフィックスビームサーチCTC prefix beam searchとホットワード強化機能もサポートしています。
- [OmniSenseVoice](https://github.com/lifeiteng/OmniSenseVoice) は、超高速推論とバッチ処理のために最適化されています。
# お問い合わせ

View File

@ -394,6 +394,7 @@ python webui.py
- sherpa-onnx 部署最佳实践,支持在 10 种编程语言里面使用 SenseVoice, 即 C++, C, Python, C#, Go, Swift, Kotlin, Java, JavaScript, Dart. 支持在 iOS, Android, Raspberry Pi 等平台使用 SenseVoice[repo](https://k2-fsa.github.io/sherpa/onnx/sense-voice/index.html)
- [SenseVoice.cpp](https://github.com/lovemefan/SenseVoice.cpp) 基于GGML在纯C/C++中推断SenseVoice支持3位、4位、5位、8位量化等无需第三方依赖。
- [流式SenseVoice](https://github.com/pengzhendong/streaming-sensevoice)通过分块chunk的方式进行推理为了实现伪流式处理采用了截断注意力机制truncated attention牺牲了部分精度。此外该技术还支持CTC前缀束搜索CTC prefix beam search以及热词增强功能。
- [OmniSenseVoice](https://github.com/lifeiteng/OmniSenseVoice) 轻量化推理库支持batch推理。
# 联系我们