30秒 AI 混剪样片:四个镜头、校对字幕和低音量配乐
素材混剪不是把几个片段扔给 AI 就能直接发布。先确认画面、旁白和配乐的使用范围,再用场景检测找可能的切点、用语音识别起草字幕,最后逐句校对并把音乐压到旁白下面。自动识别负责给你一个初稿,不能代替看片、听音和权利核验。
下面用原创虚构故事《凌晨两点的空杯》做练习。画面是四张 AI 生成的绘本分镜,旁白是合成语音;没有真人出镜,也没有使用外部影视片段。练习包里的样片、识别稿和校订稿都对应这组素材。
先核素材授权,再开始剪
把视频、旁白、音乐、音效、字体和客户提供的参考素材分开登记。逐项写明来源、权利人、允许的剪辑方式、发布渠道和是否可商用。能观看或下载,不代表可以改编、混音或公开发布;不确定的素材不要上传给在线服务。
本次没有新调用 Suno,也没有消耗积分,而是复用项目中已经生成的纯音乐文件;这段配乐取自此前的《用 Suno 做伴奏和背景音乐》教程样例。Suno 的说明把下载时是否处于付费订阅期列为作品使用权条件,同时提醒商业使用权不等于保证作品一定受版权保护;实际使用前应核对具体歌曲的生成、下载时间和账号条款。Suno 付费订阅使用权说明
先自动找镜头切点
FFmpeg 的 select 滤镜会为画面变化计算 scene 分数。它只提示画面变化较大的帧,不理解剧情,也不会判断某个剪切是否合适。先对输入片段做一遍扫描:
ffmpeg -i input.mp4 -vf "select='gt(scene,0.20)',showinfo" -an -f null - 2> scene-detect.log
本文样片是四张静帧按顺序硬切,每段 7.5 秒。用阈值 0.20 扫描后,检测到 7.5、15 和 22.5 秒三个切点,与输入画面的预设边界一致。素材本身很简单;淡入淡出、快速运动、闪光或同一场景的机位变化都可能让切点漏检或误报,逐段看片后再决定是否保留。
用 FunASR 生成字幕初稿
从视频抽出旁白,转换成 16 kHz 单声道 WAV,再让 FunASR 返回文本和时间戳:
ffmpeg -i input.mp4 -map 0:a:0 -vn -ac 1 -ar 16000 -c:a pcm_s16le /tmp/narration.wav
python scripts/transcribe_local.py /tmp/narration.wav evidence
示例脚本只接收已经存在的 ModelScope 本地缓存目录;找不到 ASR、VAD、标点或说话人模型时会停止,不会自动下载。首次准备 FunASR 环境或模型可能需要额外磁盘和网络流量;先核对模型卡和本机缓存,再决定是否安装。本文实测使用本机已有的权重,没有下载模型。安装和缓存准备可参看FunASR 会议录音教程。
识别完成后先打开 evidence/captions-auto.srt,再逐句对照旁白。自动字幕可能把人名、同音词、代词和重复词识错。本次 30 秒旁白里,模型把“许禾”识成“许和”或“喜河”,把“留水”听成“流水”,把指代猫的“它”改成“他”,还重复识别了“清洁员”。模型候选共有 14 段,全部人工校订后才用于成片。改动记录见练习包的 review/review-log.md。
| 复核项 | 逐条检查 |
|---|---|
| 专名和人名 | 对照原始稿,不凭上下文猜字 |
| 否定、代词和数字 | 播放前后句,避免把意思改反 |
| 时间码 | 检查字幕不要提前、滞后或盖住下一句 |
| 分行 | 一屏放一到两行,避免挡住主体 |
| 语气和口型 | 有对白或口型时,回看片段并听音确认 |
再配乐并导出
确认音乐没有歌词或突兀人声后,把音量压低,再和旁白混音。练习包的 scripts/mix.py 会将校订字幕排成透明叠层、把画面缩放为 720×1280,并以旁白为主轨、低音量音乐为背景导出:
python scripts/mix.py input/original.mp4 input/background-music.m4a \
scripts/captions-reviewed.srt output/ai-mix-demo.mp4
python scripts/check_output.py
混音脚本把音乐振幅设为 0.10,并用 limiter 控制峰值。成片仍要在手机扬声器和耳机上听一遍:音量计不能判断旁白是否清楚、音乐是否抢戏,也不能检查断句和情绪。发布 AI 生成或合成的画面、配音和音乐时,还要按平台当前流程主动声明并使用平台提供的标识功能;不要剪掉素材已有的 AI 标识。剪辑软件导出不等于平台发布声明已完成。《人工智能生成合成内容标识办法》
本次实测结果
FunASR 1.4.16 在 M1 Max CPU 上加载本地 ASR、VAD、标点和说话人模型约 15.4 秒,对 30 秒音频推理约 7.1 秒。场景检测找到 3 个预设硬切点。经人工校订后,脚本导出 720×1280、24 fps、30 秒 H.264 视频,含 9 条字幕/标识叠层和 48 kHz 双声道 AAC 音轨;文件检查通过。混音峰值为 -3.1 dBFS。
这次抽查了 1、10、19、26 秒的代表帧,确认字幕位置和文字可读,并用原始旁白稿校对内容;尚未做人耳试听,因此不能确认实际听感、音乐平衡或所有时间码与发音的同步。场景检测也只在这组分镜输入上验证,不能据此承诺自然视频的切点准确率。素材使用权、平台审核和播放效果都需按实际项目另行确认。
练习包:下载《AI 混剪、字幕和配乐练习包》。包含原始样片、识别结果、人工校订 SRT、混音脚本和复核记录;不包含 FunASR 模型权重或单独导出的旁白 WAV。