相信不少玩NAS的小伙伴都是为了满足自己的“仓鼠症”才买的NAS吧,比起看的时候再去找资源,熊猫更喜欢每次遇到什么喜欢的影视剧集直接下载到NAS中,等空闲了再直接通过NAS本地浏览。极影视提供了非常不错的影视墙,加上目前极空间还支持strm文件索引了,熊猫的影视库也是越来越壮大了。
但屯剧很多时候会遇到一个问题,那就是字幕和双语翻译,虽说极影视内置有字幕在线下载的功能,但很多比较冷门或者小众的剧集或者动漫,极影视也表示很无奈,在线压根就搜索不到字幕组。
不过上个月的更新中,极空间也是将影像处理的功能搬到了PC客户端,通过影像处理中的智能字幕生成功能,也能实现本地字幕生成的功能,这一功能相信很多极友都还没有尝试过。
影视剧集的字幕问题解决了,那么有没有办法直接通过极空间将视频翻译成中文语言呢?或者直接将字幕文件镶嵌到视频中呢?这也是前几天极友给熊猫提出的需求,功夫不负有心人,经过一周的搜索还真让我找到了这样的工具。
Krillin AI——一款能将音视频本地进行翻译并配音的工具,且支持对流媒体平台的视频进行在线翻译或配音,例如我们常用的哔哩哔哩、红书、抖音以及视频号等等,翻译和配音功能既可以下载模型到本地使用,也能通过API的形式在线进行,对于NAS性能不足的用户也非常友好。
主要特点与功能:🎯「一键启动」:无需复杂的环境配置,自动安装依赖,立即投入使用,新增桌面版本,使用更便捷!
📥「视频获取」:支持yt-dlp下载或本地文件上传
📜「精准识别」:基于Whisper的高准确度语音识别
🧠「智能分段」:使用LLM进行字幕分段和对齐
🔄「术语替换」:一键替换专业领域词汇
🌍「专业翻译」:基于LLM,段落级翻译保持语义连贯性
🎙️「配音克隆」:提供CosyVoice精选音色或自定义音色克隆
🎬「视频合成」:自动处理横竖版视频和字幕排版
项目部署前面也提到了,项目支持下载模型到本地使用,也支持在线对接大模型,所以理论上不管你是双盘位的极空间Z2Pro,还是性能怪兽Z423旗舰版,都可以使用该项目,这里熊猫就直接拿Z423旗舰版作为例子了,锐龙5825U过了一两年了还是处于NAS圈的顶流存在,再来个几年估计也是第一梯队的存在。
官方项目提供的镜像名为krillinai/krillin,不过之前熊猫尝试一直报错,最后给作者提了issues才发现是官方镜像有问题(写文章时已经修复,镜像名为asteria798/krillinai)所以熊猫最后找到了第三方修改后的镜像包pairzhu/krillinai。
这里我们直接通过极空间的compose进行部署,也方便后续的管理,代码如下,其中的映射文件夹通过查询路径就能得到极空间NAS的真实路径了。(根据自身情况修改端口和路径)
version:'3'services:krillin:image: pairzhu/krillinaiports:-"8886:8888"
在部署之前我们还需要准备config.toml文件,该文件在项目地址就能获取,获取之后记得根据自身情况更改其中的内容(Docker部署修改地址127.0.0.1为0.0.0.0),例如如果和熊猫一样用的Z423,那么完全可以直接将模型下载到本地由本地进行视频的翻译和配音工作,如果性能不足,那么也可以选择配置对接大模型。(配置文件地址:https://github.com/krillinai/KrillinAI/blob/master/config/config-example.toml)
一切就绪之后就可以直接创建并启动项目了,如果你用的是模型下载的形式,那么在启动之后项目会自动下载所需的模型,模型会在映射的models目录中。(模型大小总计约为3G左右,请耐心等待,日志中会显示进度)
如果你对接的大模型,那么项目会验证检测对接的key是否可用,如无误,日志会有这样的提示信息。
浏览器输入极空间IP:8888就能访问项目页了,项目分为视频地址翻译配音与本地视频翻译配音,视频地址支持上述熊猫所说的国内一些流媒体或短视频平台,外网也支持主流平台,不过这就需要你的NAS拥有访问能力才行。
熊猫这里直接采用本地视频上传的形式,源语言为中文,字幕翻译这里我们就切换为韩文,双语字幕打开,同时打开配音,最后我们勾选上字幕合成。
在转换过程中下方会有任务进度条,如果用的本地,那么进度根据本地性能决定,如果用的在线,一般来说5分钟之内就能完成,完成之后会有对应的提示和下载链接。(不过下载链接貌似点了没效果,不知道是不是第三方的问题,极友们可以尝试官方镜像)
通过项目给出的提示,我们可以在项目映射目录中找到对应的字幕文件以及视频文件,翻译准确率这个我不太清楚,毕竟熊猫也没学过韩语,不过中文的识别还是非常精准的,基本没有出错的情况,如果中文识别没有错误,那么多半翻译应该也没什么问题。
非常不错的项目,极空间NAS秒变字幕组工具的感觉有木有!那么熊猫就有个大胆的想法,既然能这样,那是不是一些生肉动漫也能直接翻译成中文呢?或许可以尝试一下!
以上便是本次分享的全部内容了,如果你觉得还算有趣或者对你有所帮助,不妨点赞收藏,最后也希望能得到你的关注,咱们下期见!