WhisperKit开源！可在iPhone和Mac流畅体验实时语音转录
划重点:
- WhisperKit是Argmax公司推出的开源项目，旨在实现苹果芯片上的实时语音转文本，通过多项优化提高性能。
- 该项目采用MIT许可证，提供Swift包、iOS和macOS示例应用以及Python工具，为开发者提供最大便利。
- WhisperKit的设计原则包括灵活性、可扩展性、可预测性，以及专注于实时性能。
由于对Whisper推理在生产中的迅速增长需求，Argmax公司决定将其作为首个项目，并于宣布将WhisperKit项目以MIT许可证的形式开源，进入beta测试阶段。
WhisperKit是一个用于实现在设备上进行语音推理的开源工具，旨在通过最小的摩擦和最大的性能提高，使开发者能够轻松改进和部署快速、免费且几乎无错误的翻译和转录服务。
简单的说，WhisperKit可以在 iPhone 上运行的Whisper实时推理软件，可以实时将声音转成对应的文字，想做类似实时翻译工具的可以关注一下。
该项目提供了Swift包，只需两行代码即可在应用中实现Whisper推理，同时还附带了iOS和macOS的示例应用，方便开发者测试。为了优化和评估Whisper在Mac上的性能，还提供了Python工具。
WhisperKit的设计原则包括灵活性、可扩展性、可预测性和自动部署。该项目的设计使得开发者能够自由组合或隔离GPU和神经引擎的利用，以实现最佳的能效和最低的延迟。同时，WhisperKit被模块化为Swift协议，通过实现自定义行为的协议扩展，降低了扩展的难度。
在实现性能方面，WhisperKit的重点是在苹果芯片上实现最低延迟和最高吞吐量。特别是针对最具挑战性的openai/whisper-large-v3变体进行了优化。通过优化音频编码器和文本解码器，WhisperKit在iPhone12到15上取得了1.85x至2.85x的速度提升。
为了实现实时性能，WhisperKit克服了Whisper不设计用于低延迟音频处理的困难。通过在语音转录过程中定期积累足够的音频，对音频进行预处理和使用优化的编码器和解码器，WhisperKit实现了实时语音转文本的目标。
除此之外，WhisperKit还通过在编译时预先计算特殊标记的KV缓存值，进一步提高了性能。这项优化使得在流式模式下每秒可处理9-15个文本标记，足以满足日常语音需求。
在稳定版发布之前，WhisperKit计划引入性能报告创建、异步批处理预测、watchOS示例应用以及Metal-based推理引擎等功能。
项目入口:https://top.aibase.com/tool/whisperkit
更新于：9个月前