划重点:
- 💡 Universal-1在多语言环境中取得了行业领先的表现,提供准确且鲁棒的多语言语音转文字功能。
- 💡 Universal-1能够精确估计时间戳,提高了说话者辨识和音视频编辑等下游应用的准确性。
- 💡 AssemblyAI 利用最先进的 ASR 研究,构建了 Universal-1模型,并通过 Google Cloud TPUs 等基础设施实现了高效的训练和推理。
站长之家(ChinaZ.com)4月7日 消息:AssemblyAI 最新研究成果展示了他们的 Universal-1模型在多语言环境中的表现,该模型在准确性和鲁棒性方面均取得了行业领先地位。先说结果,Universal-1比Whisper Large-v3更准确,比fast Whisper更快,38秒可以处理60分钟音频。
Universal-1训练于1250万小时的多语言音频数据,采用了 Conformer RNN-T 架构,在英语、西班牙语和德语的语音转文字准确性上均取得10% 以上的提升。该模型还展现出多语言转录能力,能够在单个音频文件中转录多种语言。
除了语音转文字准确性外,Universal-1还具有精确的时间戳估计能力,对于音视频编辑和说话者辨识等应用具有重要意义。该模型通过优化的解码器实现了13% 的时间戳准确度提升,比 Whisper Large-V3提高了26%。此外,Universal-1还实现了高效的并行推理,比 Whisper Large-V3在相同硬件上实现了5倍的加速。
为了构建 Universal-1,AssemblyAI 利用了 Conformer 编码器和 RNN-T 模型,通过大规模的自监督学习框架和大量的标记数据进行训练。他们利用 Google Cloud TPUs 和 JAX 进行训练,构建了可靠的基础设施和系统设计。除了多语音数据外,他们还结合了各种数据增强方法,提高了模型的准确性和鲁棒性。
AssemblyAI 的研究展示了他们在语音 AI 领域的领先地位,Universal-1模型在多语言环境下取得了令人瞩目的表现,为客户提供了准确、忠实和鲁棒的语音转文字能力。值得一提的是,Universal-1非开源,仅提供API调用。
产品入口:https://top.aibase.com/tool/universal-1
(举报)