AI 短剧制作:从脚本生成到画面渲染的全链路
上周,一位学员带着他的“爆款”剧本找到我——一个关于外卖骑手穿越到古代当御厨的脑洞故事。他手动写了三天脚本,又花一周用传统渲染器做了10秒的测试片段,结果画面卡顿得像PPT。他问我:“老师,AI到底能不能帮我省下这90%的时间?”答案是肯定的,但前提是你要掌握从脚本生成到画面渲染的完整链路。
今天,我们直接用两个实操案例,拆解这个流程。你会看到如何用AI在30分钟内完成从文字到动态画面的全流程——包括脚本优化、分镜设计、角色一致性控制,以及最终的画面渲染。
一、脚本生成:从“脑洞”到“工业级剧本”
很多学员以为AI写剧本就是输入一个关键词,然后坐等奇迹。实际上,高质量的AI短剧脚本需要结构化提示词。我们以那个外卖骑手穿越故事为例。
案例1:用Claude 3.5生成分镜头脚本
工具:Claude 3.5 Sonnet(2024年8月版)
目标:生成一个包含“场景、镜头、对话、情绪”四列的分镜头表格
操作步骤:
1. 设定角色:给AI一个“编剧”身份,语气要专业。
你是一位擅长写网络短剧的编剧,特别擅长快节奏、强反转的剧情。请为以下故事生成分镜头脚本:一个2024年的外卖骑手(小明)穿越到清朝御膳房,用现代快餐技术征服了挑剔的皇帝。
2. 指定格式:明确输出表格,列名为“场景编号/镜头描述/对话/情绪”。
输出格式为Markdown表格,每行一个镜头。要求:每个镜头不超过15秒,总时长控制在2分钟以内。
3. 加入约束:限制AI的“自由发挥”倾向。
注意:主角的语言风格要保留现代网络用语(如“我太难了”),但其他角色用古风台词。
实际输出片段(经手动微调):
| 场景编号 | 镜头描述 | 对话 | 情绪 |
|———|———|——|——|
| 1-1 | 特写:小明的电动车屏幕显示“您有新的订单”,镜头拉远露出他疲惫的脸 | “又是爬六楼,我太难了。” | 无奈 |
| 1-2 | 快速推镜:小明骑车冲进一条发光的胡同,画面闪烁 | “哎?这路不对啊!” | 惊慌 |
| 1-3 | 全景:小明摔在古色古香的厨房里,周围站着穿清朝官服的厨师 | 太监:“大胆刁民,擅闯御膳房!” | 混乱 |
关键参数:
- 温度(Temperature)设为0.7,保证创意但不过于发散。
常见坑:AI生成的对话常常过于书面化,比如“此乃何物?”——你需要手动替换成“这啥玩意儿?”。这个步骤叫“口语化润色”,建议用AI再跑一次,提示词改为“请将以下对话改写成更符合角色性格的口语”。
二、分镜与角色一致性:用Midjourney + ControlNet实现“不换脸”
脚本有了,下一个难题是角色一致性——短剧里主角不能每帧换张脸。传统做法是训练LoRA模型,但耗时耗力。这里教一个“偷懒”方法:用Midjourney生成关键帧,再用Stable Diffusion的ControlNet保持姿态一致性。
案例2:用Midjourney V6生成主角的“标准照”
工具:
第一步:生成角色基准图
在Midjourney输入:
a young Chinese delivery driver, wearing a yellow helmet and red uniform, holding a phone, realistic photography, cinematic lighting, 8k, --ar 16:9 --v 6
得到4张图,选择最符合你想象的一张。关键:记下这张图的Seed值(在Discord中右键图片→“添加反应”→信封图标,Bot会私信你Seed)。比如:`Seed 123456789`。
第二步:用Stable Diffusion生成不同场景
现在,我们要让小明出现在清朝厨房里,但脸不能变。
1. 在Stable Diffusion中,使用Same ID插件(或ReActor插件)加载Midjourney那张图作为参考。
2. 输入提示词:
a Chinese delivery driver in ancient Chinese kitchen, wearing yellow helmet and red uniform, holding a wok, wooden tables, steam, oil lamps, cinematic, photorealistic, negative prompt: cartoon, anime, distorted face
3. 启用ControlNet的OpenPose模式,加载一张“厨师炒菜”的姿势参考图(可在网上搜免费素材)。
4. 参数设置:
– ControlNet权重:0.8(太高会复制姿势,太低会失控)
– 采样步数:30
– CFG Scale:7
效果:生成的小明脸型、肤色、头盔颜色都保持一致,但姿势和背景变成了清朝厨房。
进阶技巧:如果角色出现“换脸”现象,用Inpainting功能手动修复。把生成图导入Stable Diffusion的Inpaint模块,用画笔涂抹脸部区域,输入提示词“same face as reference”,模型会自动对齐。
三、画面渲染:用Runway Gen-2和Pika实现“动态化”
脚本和分镜图都有了,最后一步是让画面动起来。这里推荐两个工具:Runway Gen-2(适合写实风格)和Pika Labs(适合卡通或高动态场景)。
实操:用Runway Gen-2生成15秒动态片段
工具:Runway Gen-2(网页版,2024年8月更新)
输入:
a delivery driver cooking in an ancient kitchen, steam rising, fire under the wok, camera slowly zooming in, cinematic, 24fps
– Motion Strength:5(数值越高动作越大,但容易变形)
– Duration:4秒(免费版限制,付费版可到15秒)
– Upscale:开启(提升分辨率至1080p)
结果:画面中,小明真的开始翻炒,蒸汽升腾,火苗跳动——虽然动作有些机械,但足够用于短剧的“快节奏”剪辑。
注意:如果生成的人物面部扭曲,说明Motion Strength过高。降低到3-4,或者用Pika的“Animate Diff”功能,它更擅长处理人物细节。
用Pika实现“角色动作控制”
Pika的Action Control功能可以指定角色动作。比如,让小明“摔倒”:
1. 上传分镜图。
2. 在提示词里写“person falling backward, arms flailing”。
3. 用鼠标在预览框画一条轨迹线,指示摔倒方向。
效果:角色的摔倒动作更自然,不像Runway那样容易“飘起来”。
四、全链路整合:从3小时到30分钟
把以上步骤串起来,一个2分钟的短剧测试片段,传统流程需要:
用AI链路:
总耗时:约30分钟,成本约2美元(API调用费)。
当然,这只是一个“粗剪”版本。要用于正式发布,还需要:
1. 语音合成:用ElevenLabs的“声音克隆”功能,让主角声��统一。
2. 背景音乐:用Suno AI生成古风BGM。
3. 剪辑:用CapCut(剪映)的“自动踩点”功能对齐节奏。
常见问题 FAQ
Q1:为什么我用Midjourney生成的角色,放到Stable Diffusion里就“变脸”了?
A:这是最常见的坑。原因通常是ControlNet权重过高或提示词冲突。尝试:降低ControlNet权重至0.6,并在提示词里加入“same face as reference”。另外,确保Midjourney那张图的分辨率大于1024×1024,否则Stable Diffusion会强行补细节导致变形。
Q2:Runway Gen-2生成的动作太慢,怎么加速?
A:在提示词里加“fast motion”或“high speed”,或者提高Motion Strength至7-8。但注意:数值超过8容易导致画面闪烁。建议分段生成,每段4秒,然后用剪辑软件加速1.5倍。
Q3:我的AI脚本总是“流水账”,没有高潮,怎么办?
A:在提示词里加入“要求:在第三分钟加入一个反转”。比如“皇帝突然发现外卖盒是塑料的,大怒”。AI需要明确的“剧情转折点”指令,否则它会倾向于平铺直叙。
Q4:生成的视频角色手部动作总是扭曲,怎么解决?
A:目前AI视频对手部处理普遍差。解决方法:
Q5:免费工具有哪些推荐?
A:
结尾:给学习者的三个建议
1. 先跑通“最小闭环”:不要试图一步到位生成完美短片。先用5秒测试片段,检查角色一致性、动作流畅度,再扩展。
2. 善用“负面提示词”:在Stable Diffusion和Runway里,负面提示词比正面更重要。比如“blurry face, distorted hands, extra fingers, low quality”能过滤掉80%的废片。
3. 拥抱“不完美”:AI生成的短剧天然带有“超现实感”——这反而是它的魅力。很多爆款短剧故意保留AI的“机械感”,作为风格特色。如果你追求100%真实,不如去拍实景。
最后,记住一句话:AI是放大器,不是替代者。你的故事、节奏感和审美,才是决定作品上限的关键。现在,打开你的工具,从第一个分镜头开始。

评论(0)