AI 短剧制作：从脚本生成到画面渲染的全链路

上周一位学员发来消息：“老师，我花了两周用Midjourney生成了一百多张图，想做成一个3分钟的短剧，结果导入剪辑软件后，人物长相前后不一致，场景也接不上，完全没法用。”这个问题不是个例。当前AI视频工具爆发，但很多创作者卡在“单帧好看”到“连贯叙事”之间的鸿沟上。

今天我把火星人教育内部课程中的一套工作流拆解给你看：用AI短剧全链路生产管线，从脚本生成到画面渲染，每个环节的工具选择、参数设置、常见坑点，一次讲透。

—

一、脚本与分镜：用AI构建叙事骨架

很多人一上来就开干——打开ChatGPT写个故事，然后直接去生图。这是最大的误区。短剧的核心是“连贯性”，而连贯性的基础是结构化的分镜脚本。

1.1 用Claude生成结构化剧本

我推荐使用Claude 3.5 Sonnet（2024年8月版本）来生成剧本。相比GPT-4，它在保持角色设定一致性方面表现更好。

操作步骤：
1. 在Claude中输入角色设定模板：

请生成一个3分钟短剧的剧本，类型：悬疑反转
主角：林深，28岁男性，戴黑框眼镜，穿灰色风衣
场景：城市雨夜，旧书店
要求：输出格式为表格，包含：场次编号、时间码、镜头描述、对白、角色状态

2. Claude会输出类似这样的结构化分镜：

| 场次 | 时间码 | 镜头描述 | 对白 | 角色状态 |
|——|——–|———-|——|———-|
| 1 | 0:00-0:15 | 雨夜街道，远景，主角撑伞走近旧书店 | （环境音） | 疲惫，脚步沉重 |
| 2 | 0:15-0:30 | 中景，主角推门，门铃响 | “老板，那本书到了吗？” | 期待 |
| 3 | 0:30-0:45 | 近景，主角摘下眼镜擦拭 | （无对白） | 焦虑 |

关键点：必须要求Claude输出“角色状态”和“镜头描述”，这是后续图像生成的重要参数来源。很多学员忽略这一步，导致后面生图时角色表情完全对不上。

1.2 用Midjourney生成角色一致性参考

在开始批量生图前，先做一件事：建立角色视觉档案。

操作步骤：
1. 在Midjourney（v6.1版本）中使用以下提示词生成主角定妆照：

portrait of a 28-year-old Chinese man with black glasses, gray trench coat, rain on the glass behind him, cinematic lighting, depth of field, shot on Arri Alexa, --ar 3:4 --style raw --s 250

2. 保存这张图，复制其Seed值（在Discord中点击图片，选择“Add Reaction”→“✉️”，MJ会返回Seed）。

3. 后续所有涉及该角色的画面，都在提示词末尾加上 `–seed 123456`（替换成你的Seed值）。这是保证角色面部特征一致性的核心手段。

—

二、画面生成：从单帧到序列的工程化方法

有了分镜脚本和角色Seed，接下来是批量生成画面。但这里有个常见的效率陷阱：逐张生成再拼凑，时间成本极高，且风格难以统一。

2.1 用ComfyUI搭建批量生成工作流

我推荐使用ComfyUI（最新版v0.2.4）配合Stable Diffusion XL（SDXL base 1.0 + refiner）。相比Midjourney，ComfyUI的工作流可以保存为JSON文件，方便批量处理和参数复用。

搭建步骤：
1. 下载ComfyUI并安装SDXL模型（推荐使用Juggernaut XL v9，它在写实和风格化之间平衡得很好）。

2. 加载工作流模板：在ComfyUI的Examples文件夹中找到“text_to_image_sdxl.json”，这是基础文生图工作流。

3. 修改关键节点：
– CLIP Text Encode (Positive)：填入你的场景提示词，例如：`interior of old bookstore, wooden shelves, dim warm lighting, rain seen through window, man in gray coat standing by counter, cinematic, 8k, –seed 123456`
– CLIP Text Encode (Negative)：填入通用负提示词：`blurry, low quality, distorted face, extra limbs, bad anatomy, watermark, text`
– KSampler：设置参数：
– steps: 30（画质与速度的平衡点）
– cfg: 7（控制创意度，7-8是安全区间）
– sampler_name: DPM++ 2M Karras
– scheduler: normal

4. 关键技巧：在Positive提示词中，用 `–seed 123456` 来锁定角色面部特征。但注意：不同场景的光线、角度会影响面部识别，所以建议每3-5个场景重新生成一张角色参考图，更新Seed值。

2.2 批量生成与筛选

ComfyUI支持批量生成：在KSampler节点中设置batch_size为4，一次生成4张不同构图的画面。生成后，用A1111 WebUI的“图像浏览器”功能快速浏览，挑出最符合分镜的图片。

对于短剧，建议每个镜头生成4-8张备选，然后从中选出1-2张最佳帧。这一步不要省，因为AI生成的画面在构图、表情上存在随机性。

—

三、视频化与后期：让静态画面“动”起来

画面生成完毕，接下来是视频化。这里有两个主流方案：Runway Gen-2和Pika Labs。我推荐组合使用。

3.1 用Runway Gen-2生成动态镜头

Runway Gen-2（v2版本）在生成“人物微表情”和“环境动态”方面表现优异。

操作步骤：
1. 上传之前生成的静态画面作为首帧（Image to Video模式）。
2. 在Prompt栏输入运动描述，例如：`slow camera pan right, character blinks, rain intensifies on window`
3. 参数设置：
– Motion Strength：5（1-10，建议5-7，太高会导致画面变形）
– Seed：留空（让Runway自动生成，便于后续多版本对比）
– Duration：4秒（短剧镜头通常2-4秒）

注意：Runway对人物面部变形的控制较弱。如果生成结果中角色面部扭曲，可以尝试在Prompt中加入 `stable face, consistent features`。

3.2 用Pika Labs生成特效与转场

对于需要特效的镜头（如雨滴、烟雾、光线变化），使用Pika Labs（Discord平台）的`/animate`命令。

操作步骤：
1. 在Pika的Discord频道中输入：`/animate image:（你的图片链接） prompt: rain drops falling on window, slow motion, cinematic, –seed 123456`
2. 参数：
– Motion scale：0.8（0-1，0.8适合自然运动）
– Guidance scale：12（控制与提示词的一致性，12-15是安全区间）

Pika的优势在于转场生成：输入两张图片，用`/transition`命令可以生成从A到B的平滑过渡，非常适合短剧中的场景切换。

3.3 剪辑与音频：用Premiere Pro完成最后拼装

将所有生成的视频片段导入Premiere Pro 2025，按分镜脚本排列。

操作技巧：
1. 在时间轴上为每个片段添加交叉溶解转场（0.5秒），掩盖AI视频在首尾帧的不连贯。
2. 使用Auto Reframe功能（Premiere Pro 2025新增），自动将宽屏素材裁剪为9:16竖屏格式，适配短剧平台。
3. 音频处理：用Adobe Podcast的AI降噪功能处理配音；背景音乐推荐Suno AI生成（Prompt示例：`suspenseful piano, rain ambiance, slow tempo, cinematic`）。

—

四、避坑指南：常见失败原因与解决方案

在实际教学中，学员最容易踩的坑有三个：

坑1：角色长相飘忽不定
原因：没有使用固定的Seed值，或者场景变化过大导致AI“忘记”角色。
解决方案：每3个镜头重新生成一张角色参考图，将新Seed值更新到后续提示词中。

坑2：画面风格不统一
原因：不同场景的提示词中��光线、色调描述不一致。
解决方案：在Positive提示词中固定风格参数，例如：`cinematic lighting, warm color palette, shot on 35mm lens, f/2.8`，复制到所有场景的提示词中。

坑3：视频生成后角色表情僵硬
原因：静态图生成时表情不够丰富，导致AI无法推断运动轨迹。
解决方案：在生图阶段，为每个镜头生成2-3张不同表情的备选图（如微笑、严肃、惊讶），视频化时选择最符合剧情的那张。

—

常见问题 FAQ

Q1：短剧制作中，Midjourney和Stable Diffusion哪个更好？
A：Midjourney v6在画面美感和创意度上更胜一筹，适合视觉风格鲜明的短剧。Stable Diffusion（配合ComfyUI）在批量生成、参数控制和工作流复用方面更强，适合需要大量迭代的商业项目。建议组合使用：创意阶段用MJ，批量生产用SD。

Q2：AI短剧的视频时长最长能到多少？
A：Runway Gen-2单次生成最长4秒，Pika Labs最长3秒。要制作3分钟短剧，需要生成约45-60个4秒片段。建议先用脚本规划好镜头数量，避免过度生成。

Q3：角色面部一致性有没有更稳定的方案？
A：有。可以使用InstantID或IP-Adapter（ComfyUI插件），它们通过输入角色参考图来锁定面部特征，比Seed值更稳定。但需要一定技术门槛，建议先掌握Seed法。

Q4：生成的视频中文字总是乱码或错误，怎么办？
A：AI视频工具目前对文字的识别和生成能力很差。建议在画面中避免出现文字，后期在Premiere Pro中添加字幕。如果必须包含文字（如招牌、报纸），用Photoshop的AI填充功能后期修改。

Q5：我的电脑配置不够，能跑这些工具吗？
A：图像生成（ComfyUI）需要至少8GB显存的NVIDIA显卡；视频生成（Runway/Pika）是云端服务，不需要本地算力。如果本地跑不动，可以全部使用云端工具：用Midjourney生图，Runway+Pika做视频，最后在Premiere Pro中剪辑（对显卡要求不高）。

—

结尾：进阶学习建议

这套工作流能帮你快速上手AI短剧制作，但真正的竞争力在于“故事感”和“镜头语言”。建议你：

1. 每周拆解一部3分钟以内的短片：用分镜脚本记录下来，分析镜头切换逻辑、角色情绪变化、节奏控制。AI只是工具，叙事能力才是核心。
2. 建立自己的提示词库：把每次成功生成的提示词、参数、Seed值保存下来，按场景类型（雨夜、室内、动作等）分类，后续项目直接复用。
3. 尝试手动调整：不要完全依赖AI生成。在Photoshop中手动修正面部细节，在Premiere中手动调整关键帧——AI生成+人工精修，是产出高质量作品的最佳路径。

如果你在实操中遇到具体问题，欢迎在课程社群中提问。下次直播课，我会演示如何用ComfyUI搭建完整的短剧生产工作流，从脚本到成片，现场跑通一个3分钟案例。

记住：AI短剧不是“一键生成”的魔法，而是工程化的创意生产。每一步的细节控制，决定了最终作品的上限。