四个机器人各拿一件东西,胶片穿过四人连到摄影机

831.5 秒、77 个镜头、19956 帧。片子叫《遁入不朽·太平洋的发现》,讲 1513 年巴尔沃亚翻过达连山脊看见太平洋,六年后在刑场被处死。

做这部片子的不是一个团队,是四个机器人加一名人类监督者。这篇写它们怎么分工、靠什么衔接、哪些地方必须由人收口。

640×360 预览,中英双语字幕已烧入,约 58 MiB。成片说明见 遁入不朽:太平洋的发现。

一、这部片子是什么

片名《遁入不朽·太平洋的发现》。内容是 1513 年巴尔沃亚翻过达连山脊、成为第一个看见太平洋的欧洲人,以及六年后他在刑场被处死。素材取自茨威格写这个下午的那篇短文。

成片规格:831.5 秒,1024×576,24fps,19956 帧。结构是 6 秒片头字卡、800 秒正片、25.5 秒片尾四张卡。正片 77 个镜头。音轨包含一条西班牙语旁白、一条程序合成的音乐床和环境声。字幕 194 条,中英双语。整体响度 −16.0 LUFS,真峰值 −5.7 dBFS。

画面由图生视频模型生成,没有实拍素材;旁白由语音合成生成;音乐由程序生成;字卡、字幕、调色、混音、封装由本地脚本完成。

参与制作的是四个 MausBot 机器人和一名人类监督者。四个机器人在一个叫「剧组一」的群里工作,监督者在同一个群里下达指令、看片、指出问题、决定是否返工。

二、四个机器人各做什么

分工按交付物划分,不按话题划分。每个机器人负责一类产出,产出的文件交给下游直接使用。

机器人 职责 交出的文件
Coordinator(制片协调) 史料搜集、时间线核对、镜头表与生成清单对账 21 个时间节点、7 条争议标注、14 条来源、16 条「AI 最容易犯的历史错误」清单;逐镜目标秒数与帧数的生成清单
Screenwriter(编剧) 主题、结构、旁白文本 10 个节拍的结构表、2263 字中文旁白(174 字/分)、3 条可用作字幕的金句
Director(导演) 分镜、机位、提示词 77 镜分镜表(人读版 Markdown + 机器可读 CSV)、139KB 提示词库
Producer(制片) 生成、剪辑、调色、混音、字幕、验收、返工 成片四个版本、复核报告、可复现的构建脚本
监督者(人) 给方向和约束、看片、指出错误、决定取舍 口头的三处时间码、若干次驳回、最终验收

这个分工的直接结果:任何一个角色缺席,链条上都会有一段时间无法推进。Coordinator 不出史料,旁白就会写成演义;Director 不定机位纪律,77 个镜头会长得像 77 个不同的世界;Screenwriter 不给节拍表,800 秒会塌成一条平线;Producer 不做抽帧验收,模型的错误会原样进母版。

三、机器人之间交接的是文件

四个机器人在同一个群里,但它们不靠对话协同。它们靠文件协同。

文件交接链:史料、节拍表、分镜表、成片,一格一格往下传

对话记录会随上下文压缩丢失。两小时前谁说过「我们统一一下光线」这类约定,聊天里可能已经找不到。但结构化的文件不会丢:

  • shotlist.csv 一行一镜,十五列,包含镜号、时长、机位、人物、提示词摘要;
  • 生成清单每镜记录目标秒数、生成帧数、实际帧数;
  • prompts.md 里的人物锚、风格锚、负面词表是同一份,被 77 条提示词共用;
  • 每个阶段的报告落在固定目录,文件名带日期。

Producer 按这份表生成、按这份表剪、按这份表复核。镜序、剪辑点、每镜帧数一镜不差。后来监督者指出的三处问题,也是靠同一份表把「12:38」换算成具体镜号才定位到的。

组织上的结论:换一个角色,就要有一份下游可以直接执行的交付物。没有交付物的角色,在这个剧组里等于没有工作。

四、Director 提前固定下来的四个变量

历史短片最常见的失败形式是同一个男人在两场戏里长得不一样,或者四个地点的山不是同一片山。Director 的做法是在生成之前把变量锁死。

四个机位看同一片山,推镜被打叉

一、机位复用。 四个机位覆盖 39 个镜头:

机位 焦段与景别 镜头数
加勒比侧河谷 全景 / 35mm 10
山脊缺口 大全景 / 50mm 17
湾岸滩涂 全景 / 35mm 8
阿克拉刑场空地 中远景 / 50mm 4

跨年份只换人物、器物、光线、植被,焦段和景别不动。其余 38 镜是一次性机位,同样固定视轴。

二、全片禁推拉摇移。 提示词里写死 no pan / tilt / dolly / zoom / handheld / orbit / crane。这条有技术原因:图生视频模型在没被明确要求时会自己加上缓慢推镜,一旦推了,前后镜的接点就不再对齐。片子的前进感由剪辑节奏和画面内人物移动承担。

三、人物锚与风格锚。 巴尔沃亚的脸型、胡须、发色、赭黄短上衣、无檐铁帽,在每个提示词里重复一遍;关键帧生成时用第一张当参考图串下去。77 条提示词共用同一份负面词表,表里列着 morion helmet。

四、帧数与时长对表。 这个视频模型的合法帧数满足 length % 17 == 5,所以 10 秒镜生成 243 帧(10.125 秒),11 秒生成 277 帧,12 秒生成 294 帧。剪辑时按清单裁掉尾部多余帧,固定机位下裁尾看不出接缝。

时长这样算出来:53 镜 × 10 秒 + 18 镜 × 11 秒 + 6 镜 × 12 秒 = 800.0 秒。旁白时间轴末条是 800 秒,两者逐帧吻合。这一点在分镜阶段就和旁白对过表,不是后期凑出来的。

五、文字与音轨交给脚本,不交给模型

定下的原则是:画面归生成模型,文字和音轨归本地脚本。

  • 片头片尾字卡用 Pillow 生成 PNG;
  • 字幕是 SRT 文件;
  • 旁白是语音合成,逐条对齐时间轴;
  • 音乐是程序合成的循环素材。

这条原则在后期省掉了大量重渲。片头加「IDEASTRANAUT 出品」,片尾从一张卡扩成四张,中英双语字幕从零翻 194 条——全部是在已完成的母版上重新编码,77 个镜头一个都没动。

反面的情况也验证了这条原则:凡是让模型画文字的尝试,出来的都是形似神不似的笔画,无法修改。

六、Producer 的工作是验收

77 条片段生成完,裁尾、拼接、配旁白,得到 800.000 秒的粗剪,19200 帧,实测 0 处帧数不符。这一步只能证明技术参数对齐,不能证明片子能用。

抽帧时抓到的错盔

然后 Producer 开始逐镜抽帧。第一轮抓出 22 顶不该出现的头盔中的 10 顶。

负面词表里写着 morion helmet(16 世纪带檐带脊的盔),模型还是把莫里恩盔扣在了 1513 年西班牙士兵头上。修完重审,第二轮又抓出 9 顶,第三轮剩 1 顶。22 顶里有 21 顶是片子「已经做完」之后才发现的。

原因是生成模型不会报告自己的错误。它交片时信心十足,错的地方画得同样漂亮。摄影师会说这一条跑焦了,模型不会。

两轮返工之后得到一条硬规则:首帧里存在不该有的东西,提示词压不住。头盔那批最后是重画关键帧解决的,不是改提示词解决的。首帧干净,后面才有得谈。

七、监督者的三处时间码

三轮自审之后,Producer 认为可以交片。监督者看完片,说了三句话:

12:38 三个人物之间是有绳子牵着吗?一开始有,后来又断掉了。

12:55 人物的头完全从身子上扭过来了。

1 分 35 秒 人物直接从船上的隔板之间穿过去了。

三处都是真问题,三处都漏在自动复核之外。

定位时遇到一个换算问题:成片比镜头表多 6 秒片头字卡,且部分镜头在剪辑时被剪短过,所以镜头表上的 750 秒、760 秒在成片里对不上位置。正确做法是按生成清单的每镜目标秒数累加,再加 6.000 秒偏移,才落得准。

监督者说的时间 成片实际区间 镜号 问题描述
1:35 89.00–100.00s S009 恩西索从图桌走向左后方时,躯干和手臂穿过船舷横梁,人在隔板另一侧出现,空间关系反了
12:38 756.00–766.00s S073 左兵手里拖出一根绳连到中间人身上,760 秒之后绳子断在半空,地上没有对应物,三人再无连接
12:55 766.00–776.00s S074 镜头内部一次硬跳切(全景切过肩近景),跳切后人物背对镜头,脸却几乎整张转向侧前方,颈部角度不成立

三处都属于模型自行添加道具、自行加切,不是剪辑错误。修法是重画关键帧,并在提示词里把机位锁死到 no cut / no reframe,只允许人物、植被、云在画面内移动。

返工走 Colab A100,三镜分别 180 秒、145 秒、140 秒。回到本机重新调色、合成、字幕,约 10 分钟。复核结果:

  • S009:12 帧逐秒检查加 5 帧放大,人物全程没跨过横梁;
  • S073:10 帧逐秒检查,画面内没有绳索;
  • S074:gt(scene,0.30) 场景切变检测零命中,确认无镜内跳切;头部 4 倍放大五帧对比,侧脸一致。

亮度衔接同时核过:S072 到 S076 依次是 84.4、79.4、81.3、85.9、90.4,相邻最大差 5.9。S008 到 S009 的 65 到 94 是船舱切甲板,属于原有设计,不是这轮引入的。

这一节可以提炼成一条经验:看片的人给出的时间码,是整条流水线上信息密度最高的输入。它不说术语,只说「1 分 35 秒人穿过去了」,但定位的是「观众觉得不对」,那正是唯一要修的标准。三轮自动抽帧没抓到的三处,人一次给了三个。

八、算力与成本

视频生成必须在显卡上跑,峰值显存约 30GB,24GB 卡会直接 OOM。两条路线都试过:

路线 环境准备 单镜耗时(243 帧 / 1024×576) 用途
算家云 L40S 需开机等位 — 77 镜批量首渲
Colab A100 80GB 约 6 分钟,含 29GB 权重的下载与加载 140–180 秒 单镜返工、成套重渲

三镜修复那一次整条链在 Colab 上跑:会话与环境约 6 分钟,三镜 180/145/140 秒,本机重建约 10 分钟,合计约 20 分钟。整套消耗 5.55 CU,账户余额从 398.71 变成 393.16。

结论按使用场景分开:批量首渲租卡按天算更划算;单镜返工走 Colab,因为开机、上传、等待的总成本比一次生成还高。单镜 140–180 秒意味着改一个镜头比开一次机器快,这对一部改了五轮的片子影响很大。

Colab 上踩到的三个坑,都记进了报告:

  1. 解包路径的判断在 Colab 环境下失效,需要改成按实际返回值判断;
  2. requirements.txt 会静默半装,装到一半不报错,需要逐项校验导入;
  3. 给子进程传精简环境变量会让 torch 报「找不到 NVIDIA 驱动」,需要保留完整环境。

九、交付物

文件 时长 大小 内容
pacific_final_es.mp4 831.5s 580.6 MiB 母版:片头卡 + 正片 + 旁白 + 环境声 + 音乐,字幕不烧
pacific_final_es_softsub.mp4 831.5s 580.7 MiB 四条流:视频、音频、chi、eng,字幕可开关
pacific_final_es_zhsub.mp4 831.5s 444.0 MiB 中英双语烧入,审片版
preview_final_640.mp4 831.5s 58.1 MiB 640×360 预览,用于手机和网页

字幕时间码:首条 6.000 秒,末条 806.000 秒,落在片尾卡之前,卡片区域没有字幕压字。

片尾四张卡的内容依次是:

  1. 出品方:IDEASTRANAUT;
  2. 使用的服务商与模型:MiniMax H3 HyperFlow Flash 14B 生成画面,Qwen3-VL 32B 做视觉审片,GPT-image-2 生成关键帧,ComfyUI 0.44.0 跑流程,算家云 L40S 与 Colab A100 提供算力,macOS say Paulina 生成西班牙语旁白,程序合成音乐,FFmpeg 与 Pillow 完成后期;
  3. AI 制作声明;
  4. 署名 by [email protected]。

成片线上版本:遁入不朽:太平洋的发现。

十、目前能做到什么,还差什么

已经做到的部分:

  • 分工可执行。 史料、结构、分镜、生成四段分开做,各自有交付物,产物质量高于一个人从头做到尾。
  • 产物可复现。 从字卡到混音到字幕,整条链有脚本,一条命令能重建,这比成片本身更值钱。
  • 成本可预算。 一整套 5.55 CU,制作时间以小时计。

还没做到的:

  • 验收仍在人这一侧。 22 顶头盔里 21 顶是片子做完后抓出来的,最后三处硬伤是监督者看片指出的。机器人能按清单核对镜序、帧数、响度、字幕时间码、亮度衔接,但「这个头扭得不成立」这类判断目前需要人。
  • 同类错误会重复出现。 负面词写了 morion helmet 照样出,说明负面词不是保险,只有首帧干净才是。
  • 上下文会丢。 四个机器人各干一段,文件一多,每个都得靠重新读文件恢复现场。所以文件命名、生成清单、阶段报告这些不显眼的东西,是这部片子的骨架。

可以确认的一点:机器人可以承担剧组里的执行分工,验收和取舍仍然在人这一侧。没有验收环节的剧组,产出越完整,风险越大。


本片画面、旁白与音乐均由 AI 生成,经人类监督者分镜审阅、指出问题与五轮返工后完成。人物、场景、服饰基于史料与文学再创作,不是历史影像。
by [email protected]