Meta 研究人员研发出一个 AI 模型,能即时翻译多达 101 种语言的语音和文本,包括直接语音到语音翻译。名为 SEAMLESSM4T 的 AI 模型,填补了语言覆盖方面的空白,并且性能优于现有的系统,它支持语音到语音(识别 101 种语言并翻译为 36 种语言)、语音到文本(101 种语言译为 96 种)、文本到语音(96 种语言译为 36 种)、文本到文本(96 种语言)的翻译,以及自动语音识别(96 种语言)。研究团队说,本项研究工作或可为快速通用翻译铺平道路,其资源公开可用(用于非商业用途),以协助进一步研究包容性语音翻译技术。研究团队表示,在语音到语音的翻译中,SEAMLESSM4T 的文本翻译比现有系统准确率提升 23%。同时该模型可过滤背景噪音并适应说话者的差异。
https://www.nature.com/articles/s41586-024-08359-z
https://news.sciencenet.cn/htmlnews/2025/1/537626.shtm