在数字化媒体时代,视频内容的创作和编辑变得日益重要。阿里巴巴集团通过其达摩院通义实验室推出了FunClip,一款开源的AI视频剪辑工具,旨在简化视频编辑流程,提高创作效率。
FunClip是什么?
FunClip一款完全开源、本地部署的开源AI自动化视频剪辑工具。通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别,随后用户可以自由选择识别结果中的文本片段或说话人,点击裁剪按钮即可获取对应片段的视频。它利用了先进的语音识别技术,自动化地对视频中的语音进行识别和转换,使用户能够快速裁剪出视频中的特定片段。
FunClip的主要功能
自动化语音识别:FunClip使用FunASR Paraformer系列模型,实现对视频中语音的高精度识别。
热词定制化:通过SeACo-Paraformer模型,用户可以自定义热词,提升特定词汇的识别准确率。
说话人识别:集成CAM++模型,自动识别视频中的说话人,并允许用户根据说话人ID裁剪视频。
视频裁剪:用户可以根据识别的文本或说话人选择特定片段进行裁剪。
Gradio交互界面:提供了一个用户友好的Web界面,简化了剪辑流程,使得操作更加直观。
多段剪辑支持:支持对视频进行多段剪辑,提供更大的编辑灵活性。
自动生成字幕:剪辑后的视频可以自动生成SRT字幕文件,方便后续编辑和使用。
FunClip的特色
开源本地部署:FunClip完全开源,支持本地部署,保护用户隐私。
高精度中文ASR模型:集成了目前最优的开源中文ASR模型之一,提供准确的语音识别。
灵活的视频编辑:支持多段剪辑和自动字幕生成,满足多样化的视频编辑需求。
易于使用的界面:Gradio交互界面简化了操作流程,使得视频剪辑变得简单方便。
命令行调用:除了图形界面,还支持命令行操作,提供更灵活的使用方式。
如何使用FunClip
本地部署
1、确保电脑上已安装Python和Git。
2、通过Git克隆FunClip的GitHub仓库。
3、安装Python依赖。
4、运行FunClip的启动脚本
python funclip/launch.py # '-l en' for English audio recognize # '-p xxx' for setting port number # '-s True' for establishing service for public accessing
5、通过浏览器访问localhost:7860体验FunClip。
在线体验
访问ModelScope魔搭社区提供的在线Demo。
上传视频或音频文件,点击「识别」按钮。
根据识别结果选择文本片段或设置说话人标识。
点击「裁剪」按钮获得结果。
命令行操作
克隆GitHub源代码。
安装Python依赖。
使用命令行运行视频识别和裁剪的相关指令。
如:
# step1: Recognize python funclip/videoclipper.py --stage 1 \ --file examples/2022云栖大会_片段.mp4 \ --output_dir ./output # now you can find recognition results and entire SRT file in ./output/ # step2: Clip python funclip/videoclipper.py --stage 2 \ --file examples/2022云栖大会_片段.mp4 \ --output_dir ./output \ --dest_text '我们把它跟乡村振兴去结合起来,利用我们的设计的能力' \ --start_ost 0 \ --end_ost 100 \ --output_file './output/res.mp4'
相关网址
官方GitHub源码地址:https://github.com/alibaba-damo-academy/FunClip
ModelScope魔搭社区在线Demo:https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary
总结
FunClip作为阿里巴巴出品的开源AI视频剪辑工具,以其强大的自动化语音识别、热词定制化、说话人识别和多段剪辑功能,为用户提供了一个高效、智能的视频编辑解决方案。它的开源性质和用户友好的设计,使得视频剪辑变得更加简便快捷,无论是专业视频编辑还是普通用户,都能从中受益。
本文由@战地网 原创发布。
该文章观点仅代表作者本人,不代表本站立场。本站不承担相关法律责任。
如若转载,请注明出处:https://www.zhanid.com/dnzs/1506.html