VideoTrans 是一个开源的自动视频翻译项目,可以将一种语言的视频翻译为指定语言的视频(自动生成新语言字幕与配音),让很多人心目中大胆的想法变为现实。@Appinn
大胆的想法
所谓大胆的想法,就是你自己拍摄了一段自我介绍视频,通过 VideoTrans 将其翻译为你的英文自我介绍。
也可以是日文视频翻译为中文、英文视频翻译为中文等等,带配音的那种。
VideoTrans视频翻译和配音
来自发现频道,同学 @jameon512 自荐:https://meta.appinn.net/t/topic/48632
一个视频翻译配音工具,可将一种语言的视频翻译为指定语言的视频,自动生成和添加该语言的字幕和配音(免费、开源,没有任何限制)。
只需要 CPU 就能完成这项工作,没有 GPU(显卡)也没任何问题。只不过稍微有点慢。
技术路线是这样的
- 语音识别基于
faster-whisper
离线模型。 - 文字翻译支持
google|baidu|tencent|chatGPT|Azure|Gemini|DeepL|DeepLX|离线翻译OTT
。 - 文字合成语音支持
Microsoft Edge tts
Openai TTS-1
Elevenlabs TTS
。 - 允许保留背景伴奏音乐等(基于uvr5)
关于使用机器配音这个问题,青小蛙的感觉是目前还是人类的声音好听,机器声音虽然生成迅速,但缺少了灵魂。不过在 有 和 没有 之间,还是先选择有比较好。之后再解决好还是更好的问题。
还有段开发者提供的视频:
i
获取
由于安装包里包括了模型,所以巨大。开发者提供了百度盘和 GitHub 下载,青小蛙添加一个夸克吧。
原文:https://www.appinn.com/videotrans/