学习精选 · AI 工具
Claude 与 Skill

让 Claude Code 把短视频剪辑写成代码:Invokard Studio 开源技能实测

DEV Community2026-11-16约 5 分钟读完AI 整理查看原文

作者做客户短视频的思路是:不生成视频,而是让 coding agent 把整个剪辑过程写成代码来执行。Invokard Studio 是这套方法的打包,支持 Claude Code、Codex、Gemini CLI、Cursor 等多个 agent,MIT 开源,v1.1 新增了动画引擎并支持以 Claude Code 插件安装。核心技巧是把 agent 无法'看视频'的判断全部转成可读数据:音频时间轴、静帧 contact sheet 和成品 MP4 的参数校验。

今天就能做

  • 在 Claude Code 里用两条命令安装 invokard-studio 插件,跑一遍 python examples/first-reel/reel.py 看完整效果
  • 借鉴'把判断转成可读数据'的思路:用逐词时间戳控制字幕节奏,用静帧 contact sheet 让 agent 审构图,用 ffprobe/响度检测校验成品
  • 需要带透明通道的动画素材时,可用 Node.js 动画引擎输出 ProRes 4444 或 PNG 序列,再叠进蒙太奇时间线

核心思路:agent 不看视频,只读数据

  • agent 无法坐下来看完 40 秒视频发现字幕晚了,所以技能把所有判断转成可读或可看的东西
  • 每句话一个语音文件,引擎据此得到停顿,字幕和剪辑逐词跟随;有录音或歌曲时用 align.py(本地 faster-whisper)拿到每个词的时间点
  • 整个 reel 在生成任何片段前先输出为 contact sheet 静帧图,agent 在图上修正构图和图层
  • 最终用 media.py verify 直接读 MP4:检查规格、响度(目标 −14 LUFS)和从编码后视频截取的 contact sheet

两套引擎,一份脚本

  • 蒙太奇引擎用 Python + Pillow + ffmpeg 逐帧合成:逐词字幕并高亮关键词、动态标题、图表、before/after 擦除、卡点剪辑、片尾卡,音乐自动在人声下压低;同一脚本可输出 9:16、16:9 或 1:1
  • 动画引擎用 Node.js:一个 React 组件按帧号绘制一帧,在你已有的 Chrome/Edge 里多标签并行渲染,帧送入 ffmpeg,可输出 H.264 MP4、带透明通道的 ProRes 4444 或 PNG 序列
  • 动画引擎自带弹簧、插值、序列、图片、视频片段和 three.js 3D;Google Fonts 首次下载后存本地,相同输入产出相同字节
  • 两套引擎在 reel.py 汇合:动画可作为透明层叠在蒙太奇上,或作为一个镜头切入,参数由 Python 传入

安装与上手

  • Claude Code 中执行:claude plugin marketplace add Octonove/invokard-studio,再 claude plugin install invokard-studio@invokard-studio
  • 其他 agent 克隆仓库后运行 python install.py,会把技能装到 Claude Code、Codex、Antigravity、Gemini CLI、Cursor 和 Windsurf 的对应位置
  • 依赖:Python 3.10+ 和 ffmpeg;用动画引擎还需 Node.js 18+
  • 第一个示例无需账号、API key 或下载即可渲染完整 reel:python examples/first-reel/reel.py

成本与案例

  • 代码 MIT 免费;用自己的素材、照片和配音渲染不花钱
  • 需要尚不存在的素材(AI 图片、片段、语音、音乐)时,技能会提示你接入一个 media provider,而不是默认你有
  • 仓库含三个客户 reel 和四个动画广告及脚本:如 34 个手机片段按 115 BPM 网格卡点剪辑、45 秒的 Ekilib(九句配音、十三张客户风格插画、动态血糖卡、编号列表和一个 morph)
  • 动画广告案例包括 SVG 角色、three.js 罐头、planck.js 物理掉落的水果,以及用数千粒子写出健身房名字的片头

实际案例

  • 客户卡点剪辑:34 个手机片段、客户脚本上屏、logo 处擦除转场,全部对齐 115 BPM 网格,不生成任何视频
  • Ekilib 45 秒案例:九句配音、十三张客户风格插画、动态血糖卡片、编号列表和一个 morph 动画
  • 动画广告案例:SVG 角色、three.js 罐头、planck.js 物理掉落水果、数千粒子写出健身房名字
  • 蒙太奇+动画组合示例完全从零渲染(自己画图、自己合成音频),并在每次 push 时由 CI 渲染验证

原文:A coding agent can't watch a video. It can still make one.

来源:DEV Community · 2026-11-16

查看原文

本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。

登录后可以点赞、查看和发表评论