FunClip – 阿里達摩院開源的AI自動視頻剪輯工具

1 0 0

FunClip是什麼

FunClip是阿里達摩院通義實驗室推出的一款完全開源、本地部署的自動化視頻剪輯工具，通過調用阿里巴巴通義實驗室的FunASR Paraformer系列模型實現視頻的自動化語音識別。用戶可以根據識別結果，選擇文本片段或特定說話人，快速裁剪出所需視頻片段。FunClip的特色包括集成高精度的中文ASR模型、支持熱詞定製化、說話人識別，以及提供Gradio交互界面，使得視頻剪輯變得簡單方便。此外，它還支持多段剪輯，並能自動生成SRT字幕文件。

FunClip的主要功能

自動化語音識別：利用阿里巴巴通義實驗室的FunASR Paraformer系列模型，對視頻進行語音識別，將語音轉換成文字。
熱詞定製化：通過集成的SeACo-Paraformer模型，用戶可以指定一些實體詞、人名等作爲熱詞，以提升特定詞彙的識別準確率。
說話人識別：集成CAM++說話人識別模型，允許用戶根據自動識別的說話人ID裁剪出特定說話人的視頻段落。
視頻裁剪：用戶可以選擇識別結果中的文本片段或指定說話人，通過點擊裁剪按鈕獲取對應視頻片段。
Gradio交互界面：通過Gradio實現的交互界面，簡化了視頻剪輯的操作流程，用戶可以在服務端搭建服務並通過瀏覽器進行剪輯。
多段剪輯支持：FunClip支持用戶對視頻進行多段剪輯，提供了靈活的編輯能力。
自動生成字幕：剪輯後的視頻可以自動生成全視頻和目標段落的SRT字幕文件，方便用戶添加或編輯字幕。
命令行調用：除了圖形界面，FunClip還支持通過命令行進行視頻識別和裁剪，提供了更靈活的使用方式。

FunClip的官網入口

官方GitHub源碼地址：https://github.com/alibaba-damo-academy/FunClip
ModelScope魔搭社區在線Demo：https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

如何使用FunClip

方法一：本地部署Gradio版本

首先確定電腦上已安裝Python和Git，然後打開終端依次輸入並運行以下命令

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirements.txt

python funclip/launch.py

最後瀏覽器訪問localhost:7860即可體驗FunClip

方法二：在線體驗魔搭社區Demo

訪問魔搭社區提供的在線Demo，然後按照下方的步驟操作：

上傳視頻或音頻文件（或使用下方的用例體驗），點擊「識別」按鈕
複製識別結果中所需的文字至右上方，或者右設置說話人標識，設置偏移與字幕配置（可選）
點擊「裁剪」按鈕或「裁剪並添加字幕」按鈕獲得結果

方法三：命令行運行相關指令

打開終端依次輸入並運行以下命令

# 1. 克隆GitHub源代碼
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安裝Python依賴
cd FunClip && pip install -r ./requirments.txt
# 3. 添加視頻進行識別
python funclip/videoclipper.py --stage 1 \
--file examples/2022雲棲大會_片段.mp4 \
--output_dir ./output
# ./output/目錄下將輸出識別結果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022雲棲大會_片段.mp4 \
--output_dir ./output \
--dest_text '我們把它跟鄉村振興去結合起來，利用我們的設計的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'

# AI工具