AI 漫剧导演：用人工智能讲好每一个故事

上周，一位学员在深夜发来一段 30 秒的漫剧片段，画面是古风少女在雨中回眸。她问：“老师，我用 Midjourney 生成了 20 张图，但连起来看就像幻灯片，完全没有‘戏’。到底怎么让 AI 理解‘情绪’和‘节奏’？”

这个问题，几乎每个入行 AI 漫剧的人都会遇到。工具已经足够强大，但导演思维才是分水岭。今天，我们不谈宏大叙事，直接拆解从分镜到成片的完整流程，用两个实操案例，让你看到“讲故事”和“生图”之间的巨大鸿沟。

一、先破局：为什么你的 AI 漫剧像“动图 PPT”？

先看一个普遍误区：用 AI 生图，然后塞进剪辑软件，配上音乐和字幕。这不算漫剧，顶多是“有声连环画”。

真正的漫剧，需要镜头语言。而 AI 工具（如 Midjourney v6.1、Stable Diffusion WebUI + ControlNet）本身不懂镜头，它只懂“描述”。所以，你的工作不是“点击生成”，而是翻译——把导演脑中的分镜脚本，翻译成 AI 能理解的精确参数。

这里有一个核心工具组合，请记下来：

| 环节 | 工具 | 作用 |
|——|——|——|
| 分镜脚本 | Notion / 飞书文档 | 文字描述每个镜头的景别、机位、运动 |
| 角色一致性 | Midjourney `–cref` 参数 / SD 的 IP-Adapter | 确保同一个角色在不同镜头中长一样 |
| 动态运镜 | Runway Gen-3 / Luma Dream Machine | 将静态图转化为 5 秒动态镜头 |
| 节奏把控 | 剪映专业版 / Premiere Pro | 剪辑、音效、字幕 |

关键点：Midjourney 的 `–cref`（角色参考）参数，是解决“脸崩”的救命稻草。用法是：先生成一张满意的角色正面照，命名为 `character.png`，然后后续所有镜头都加上 `–cref character.png –cw 100`（`–cw` 是权重，100 表示严格参考面部特征，0 表示只参考构图）。

—

二、实操案例 1：用“三幕式”结构重做 30 秒漫剧

回到开头那位学员的案例。她做的是“雨夜回眸”，但只有单一情绪。我们把它升级为一个有起承转合的微故事。

Step 1：拆解三幕

* 第一幕（0-5秒）：建立情境。雨夜，古街，空无一人。（景别：远景，缓慢推近）
* 第二幕（5-20秒）：冲突出现。少女听到身后脚步声，紧张，回眸。（景别：中景转特写，快速切）
* 第三幕（20-30秒）：情绪释放。发现是故人，眼神由惊转喜，雨声渐小。（景别：面部特写，缓慢拉远）

Step 2：生成关键帧（Prompt 写法差异）

不要写“a girl in rain”，那是 AI 的随机发挥。要写导演指令：

第一幕 prompt:
Cinematic wide shot, ancient Chinese street at night, heavy rain, empty, lonely lantern light reflecting on wet stone, atmosphere of anticipation, shot on ARRI Alexa 65, 35mm lens, high detail, --ar 21:9 --cref character.png --cw 100

注意关键词：`Cinematic wide shot`（电影感远景）、`atmosphere of anticipation`（期待的氛围）、`–ar 21:9`（超宽画幅，电影感）。

第二幕 prompt:
Medium shot from behind, a young woman in hanfu suddenly stops, hearing footsteps, her shoulder tense, rain droplets frozen in motion, shallow depth of field, dramatic lighting, --ar 16:9 --cref character.png --cw 100

这里用了 `from behind`（背后角度）和 `shoulder tense`（肩膀紧张），这是表演指导，AI 会理解这种肢体语言。

Step 3：动态化与剪辑

将生成的 3 张关键图分别放入 Runway Gen-3，输入运动指令：

* 第一幕：`camera slowly pushes in`（缓慢推近）
* 第二幕：`quick whip pan to the left`（快速���镜头向左）
* 第三幕：`slow zoom out, rain stops`（缓慢拉远，雨停）

Runway Gen-3 支持文本控制镜头运动，这是目前最接近导演控制权的工具之一。生成三段 5 秒视频后，导入剪映，按 5s + 10s + 10s 排列，第二幕中间切一刀，加一个 `缩放` 关键帧，模拟快速变焦。

结果：原本 20 张图拼凑的“PPT”，变成了有叙事节奏的 3 个镜头。学员反馈：“原来我缺的不是画质，是‘起承转合’。”

—

三、实操案例 2：用 ControlNet 精确控制“站位”与“情绪”

Midjourney 适合快速出图，但遇到复杂构图（比如双人对话、物体遮挡），它容易失控。这时候，Stable Diffusion WebUI + ControlNet 是更理性的选择。

场景：我们需要一个镜头——主角坐在窗前，窗外是巨大的机械月亮，桌子上有一杯冒着热气的茶。

Step 1：搭建 3D 底模（不需要建模基础）

打开 Blender（免费），用简单的立方体拉出窗户轮廓，用圆柱体代表茶杯，用球体代表月亮。不需要贴图，只要黑白灰的线框即可。渲染一张 512×512 的图，命名为 `layout.png`。

Step 2：在 SD WebUI 中调用 ControlNet

1. 模型选择：`control_v11p_sd15_openpose`（用于姿态）或 `control_v11f1p_sd15_depth`（用于深度）。这里我们用 depth，因为它能保留空间关系。
2. 上传 `layout.png`，勾选“启用”，预处理器选 `depth_midas`，权重 `0.8`。
3. 输入 Prompt：`cyberpunk girl sitting by window, mechanical moon outside, steam rising from teacup, cinematic lighting, masterpiece, best quality`
4. 关键参数：`Sampling method: DPM++ 2M Karras`，`Steps: 28`，`CFG Scale: 7`。

Step 3：情绪微调（这是导演功力的体现）

ControlNet 保证了构图，但情绪靠 Prompt 里的形容词权重。如果想让画面更孤独，可以加 `(lonely:1.2)`，让 AI 强化孤独感。如果想让月亮更有压迫感，加 `(huge moon:1.3)`。

结果：一张构图精准、氛围到位的镜头诞生了。而且因为用了深度图控制，后续做动态视频时，AI 能更准确地识别前后景关系，运镜不抖。

—

四、从“单个镜头”到“完整叙事”：你的导演工作台

学会技术只是第一步。真正的 AI 漫剧导演，需要建立一套可复用的工作流。我建议你按以下顺序搭建：

1. 剧本拆解表：用 Excel 或飞书表格，列出“场次、景别、画面描述、台词、音效、时长”。这是你的拍摄蓝图。
2. 角色资产库：为每个主要角色生成 3 张不同角度的定妆照（正面、侧面、背面），存入文件夹。每次生图都用 `–cref` 引用，保证一致性。
3. 镜头运动库：在 Runway 或 Luma 中，测试并记录常用的运镜指令（推、拉、摇、移、跟随），形成自己的“运镜词典”。
4. 剪辑节奏模板：在剪映中预设好“快节奏（每 2 秒切）”“慢节奏（每 5 秒切）”的模板，一键套用。

—

五、总结与进阶建议

AI 漫剧的本质，不是“用 AI 偷懒”，而是用 AI 放大你的导演能力。你不需要会画画，但必须懂镜头；你不需要会编程，但必须懂参数逻辑。

进阶建议：

* 本周任务：用本文的“三幕式”方法，重做你手头最失败的一个 30 秒片段。
* 下月目标：尝试用 ControlNet 的 `openpose` 功能，控制角色动作，实现简单的“打斗”或“拥抱”场面。
* 长期方向：关注 Sora 2.0 和 Kling 1.5 的进展，它们对多镜头叙事和物理规律的理解更强，是下一代的叙事工具。

—

常见问题 FAQ

Q1：Midjourney 的 `–cref` 参数在 v6 版本还能用吗？
A：可以用。`–cref` 是 v6 的官方功能，但注意 `–cw` 权重建议从 80 开始调。如果角色服装有变化（比如换���服），把 `–cw` 降到 60，只保留面部特征。

Q2：生成的角色手部总是崩坏，怎么解决？
A：首选方案是在 Prompt 中加 `(detailed hands:1.3)`，但更可靠的是用 SD 的 inpainting（局部重绘） 功能，手动涂抹手部区域，单独重绘。或者用 ControlNet 的 `openpose` 先摆好手部骨架。

Q3：Runway Gen-3 生成视频时，人物面部会变，怎么办？
A：这是目前视频生成模型的通病。解决方案是：在 Runway 中，将首帧设为关键帧，并添加 `–face_consistency` 参数（部分版本支持）。如果不行，就用剪映的“AI 换脸”功能做二次修正。

Q4：漫剧的配音和音效怎么处理？
A：配音用 ElevenLabs 克隆你的声音，支持多语言。音效去 Freesound 或 Artlist 找素材。注意：音效的节奏要和剪辑点对齐，这比画面更重要。

Q5：没有导演基础，怎么学镜头语言？
A：最快的办法是“拉片”。找 3 部你喜欢的动画电影（比如《蜘蛛侠：平行宇宙》），逐帧截图，分析它的景别切换和运镜方式。每周拉片 10 分钟，一个月后你的镜头感会远超常人。

—

本文由火星人教育 AI 漫剧导演课程教研组出品。想获取更多实战工作流模板，欢迎在评论区留言“导演工作台”，我们将私信发送。