FunClip:阿里巴巴出品的开源AI自动化视频剪辑工具

原创 2024-07-28 22:01:07电脑知识
254

在数字化媒体时代,视频内容的创作和编辑变得日益重要。阿里巴巴集团通过其达摩院通义实验室推出了FunClip,一款开源的AI视频剪辑工具,旨在简化视频编辑流程,提高创作效率。

FunClip是什么?

FunClip一款完全开源、本地部署的开源AI自动化视频剪辑工具。通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别,随后用户可以自由选择识别结果中的文本片段或说话人,点击裁剪按钮即可获取对应片段的视频。它利用了先进的语音识别技术,自动化地对视频中的语音进行识别和转换,使用户能够快速裁剪出视频中的特定片段。

2.png

FunClip的主要功能

  1. 自动化语音识别:FunClip使用FunASR Paraformer系列模型,实现对视频中语音的高精度识别。

  2. 热词定制化:通过SeACo-Paraformer模型,用户可以自定义热词,提升特定词汇的识别准确率。

  3. 说话人识别:集成CAM++模型,自动识别视频中的说话人,并允许用户根据说话人ID裁剪视频。

  4. 视频裁剪:用户可以根据识别的文本或说话人选择特定片段进行裁剪。

  5. Gradio交互界面:提供了一个用户友好的Web界面,简化了剪辑流程,使得操作更加直观。

  6. 多段剪辑支持:支持对视频进行多段剪辑,提供更大的编辑灵活性。

  7. 自动生成字幕:剪辑后的视频可以自动生成SRT字幕文件,方便后续编辑和使用。

FunClip的特色

  • 开源本地部署:FunClip完全开源,支持本地部署,保护用户隐私。

  • 高精度中文ASR模型:集成了目前最优的开源中文ASR模型之一,提供准确的语音识别。

  • 灵活的视频编辑:支持多段剪辑和自动字幕生成,满足多样化的视频编辑需求。

  • 易于使用的界面:Gradio交互界面简化了操作流程,使得视频剪辑变得简单方便。

  • 命令行调用:除了图形界面,还支持命令行操作,提供更灵活的使用方式。

如何使用FunClip

本地部署

1、确保电脑上已安装Python和Git。

2、通过Git克隆FunClip的GitHub仓库。

3、安装Python依赖。

4、运行FunClip的启动脚本

python funclip/launch.py
# '-l en' for English audio recognize
# '-p xxx' for setting port number
# '-s True' for establishing service for public accessing

5、通过浏览器访问localhost:7860体验FunClip。

在线体验

  1. 访问ModelScope魔搭社区提供的在线Demo。

  2. 上传视频或音频文件,点击「识别」按钮。

  3. 根据识别结果选择文本片段或设置说话人标识。

  4. 点击「裁剪」按钮获得结果。

命令行操作

  1. 克隆GitHub源代码。

  2. 安装Python依赖。

  3. 使用命令行运行视频识别和裁剪的相关指令。

如:

# step1: Recognize
python funclip/videoclipper.py --stage 1 \
                       --file examples/2022云栖大会_片段.mp4 \
                       --output_dir ./output
# now you can find recognition results and entire SRT file in ./output/
# step2: Clip
python funclip/videoclipper.py --stage 2 \
                       --file examples/2022云栖大会_片段.mp4 \
                       --output_dir ./output \
                       --dest_text '我们把它跟乡村振兴去结合起来,利用我们的设计的能力' \
                       --start_ost 0 \
                       --end_ost 100 \
                       --output_file './output/res.mp4'

相关网址

总结

FunClip作为阿里巴巴出品的开源AI视频剪辑工具,以其强大的自动化语音识别、热词定制化、说话人识别和多段剪辑功能,为用户提供了一个高效、智能的视频编辑解决方案。它的开源性质和用户友好的设计,使得视频剪辑变得更加简便快捷,无论是专业视频编辑还是普通用户,都能从中受益。

FunClip AI视频剪辑 视频剪辑工具
THE END
战地网
频繁记录吧,生活的本意是开心

相关推荐

Tailor:一款开源免费的AI智能视频剪辑工具
Tailor(中文简称:泰勒)是一款开源免费的AI智能视频剪辑工具,具有 Apache - 2.0 许可证。它主要包括视频剪辑、视频生成和视频优化三大类视频处理方向,共 10 种方法。Tailor...
2024-09-01 电脑知识
274

视频剪辑软件哪个好用?8款好用的视频剪辑软件推荐
在自媒体时代,无论是个人创作者还是专业制作团队,选择一款合适的视频剪辑软件对于提升工作效率和创作质量至关重要。本文将为您推荐8款好用的视频剪辑软件,并详细介绍它们的...
2024-03-16 电脑知识
188

抖音即创是什么?AI视频剪辑软件抖音即创优缺点分析
抖音即创是一款面向抖音创作者和商家的智能创意生产与管理平台,提供视频、图文、直播等创意内容的制作、管理和推广服务。抖音即创的核心功能是利用AI技术,帮助用户快速生成...
2023-12-18 新闻资讯
308

Powder推AI视频剪辑工具 可检测直播间击杀等瞬间
法国初创公司Powder最近推出了一款人工智能驱动的视频剪辑工具,它可以自动从游戏直播和视频中提取精彩片段,大大简化了游戏主播的后期编辑工作。
2023-11-21 新闻资讯
19

强大AI字幕工具Kdenlive 可轻松剪辑视频
Kdenlive 是一款基于 MLT Framework 和 KDE Frameworks5的免费开源视频编辑软件。它拥有广泛的功能和工具,可帮助用户轻松编辑和制作视频内容。
2023-11-06 新闻资讯
66