最近在帮团队搭 AI 短剧测试项目时遇到最多的需求不是“画面再精致一点”而是“同一个角色在多个镜头里怎么能长得一样”。尤其是做《替换人生》这类带身份变换设定的短剧角色外观的连续性直接决定成片能不能看。如果每个分镜脸都不一样观众三秒就会出戏。这篇文章围绕“AI 短剧中角色一致性生成与视频制作”展开把从角色设计、分镜生成、图生视频、配音合成到成片输出的完整流程拆开讲一遍并附上可复用的 Python 脚本和 FFmpeg 命令。适合刚接触 AI 短剧制作的创作者也适合想把 AIGC 能力接入业务系统的开发同学参考。1. 背景AI 短剧与“角色替换”类创作需求1.1 为什么 AI 短剧值得关注传统短剧制作需要演员、摄影、场地、后期成本高、周期长修改一次就要重新沟通。AI 短剧把这条链路压缩成了“一个人 一套工具 一台显卡不错的主机”创作者只需要有剧本、审美和剪辑基础就能在几天内做出一个可发布的成片。从实际项目反馈来看AI 短剧的核心优势有三个成本低不需要搭建物理场景背景可以由模型生成。迭代快不满意直接改 Prompt 重新生成不用重新约演员。视觉上限高可以生成现实拍摄很难实现的奇幻场景、身份切换、年代跨越等设定。这些问题共同指向一个关键能力角色一致性。场景可以换镜头可以换但角色的形象、服装、气质必须稳定。1.2 “角色替换”类题材的技术本质像《替换人生》这类带有角色身份替换设定的作品技术本质其实不是“换脸”而是“可控角色生成”。需要做的工作包括定义角色外观脸型、发型、服装、饰品、身材比例。在不同场景和镜头角度下保持外观一致。在剧情需要时让角色变化身份或换装。让角色“动起来”时五官和动作不发生严重变形。这里面涉及的技术点包括文本生成图像、LoRA 模型微调、ControlNet 姿态控制、图生视频、数字人驱动等。下面会逐一展开。1.3 本文适合谁能收获什么本文适合以下读者想做 AI 短剧但不知道从哪里开始的新手。已经会用 Stable Diffusion 或 Midjourney但角色总是“每张图都像换了一个人”的创作者。想把 AI 生成能力封装成服务接入业务系统的后端开发者。需要给团队搭建 AI 内容生产流程的运营或技术负责人。读完之后你会掌握一条可落地的 AI 短剧制作工作流并能自己写出批量生成素材和合成视频的脚本。2. 整体技术方案与工具选型2.1 一条完整的 AI 短剧生产链路我实际跑通过一条比较稳定的生产链路拆解如下剧本 → 分镜脚本 → 角色设定卡 → 图生图生成关键帧 → 图生视频 → 配音 → 字幕 → 剪辑合成 → 成片每一步都是为了减少后续改动成本剧本写不好后续所有素材全部白费。角色设定卡不统一生成 100 张图也选不出 10 张能用的。关键帧不稳定视频生成后角色会“漂移”。所以不要只关注工具要先设计好流程。2.2 开源与在线工具怎么搭配目前主流方案有两类第一类本地开源方案以 Stable Diffusion 生态为主可以完全自己控制模型和数据适合需要批量生成、对隐私要求高、想要深度定制的工作室或开发者。核心组件图像生成Stable Diffusion WebUI 或 ComfyUI。角色一致性LoRA 模型训练。图生视频AnimateDiff 等开源扩散模型。视频后期FFmpeg。配音开源 TTS 或云端 TTS。第二类在线平台方案市面上的在线视频生成平台很多例如可灵、即梦、Vidu 等界面和参数会持续更新但核心操作思路类似上传参考图 → 输入动作描述 → 生成几秒视频片段。在线平台的优势是上手快、不需要显卡劣势是角色一致性控制空间有限、批量生产时效率较低而且部分平台对商用素材有额外限制。建议的组合方式用本地工具生成角色和图片素材用在线平台或本地模型生成视频动态。2.3 环境准备硬件和基本目录本地方案建议硬件要求GPUNVIDIA 显卡显存建议 8GB 以上更高显存可生成更高分辨率。内存16GB 以上。硬盘建议 100GB 以上可用空间模型文件普遍较大。操作系统Windows、Linux、macOS 均可但 NVIDIA 显卡在 Windows 和 Linux 下兼容性更好。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。建议的目录结构ai-drama/ ├── prompt/ # 角色设定卡、分镜提示词 ├── models/ # 大模型、LoRA 模型 ├── images/ # 生成的图片素材 │ ├── keyframes/ # 关键帧 │ └── refined/ # 重绘后的素材 ├── videos/ # 视频片段 ├── audio/ # 配音和背景音乐 ├── output/ # 最终成片 └── scripts/ # Python/Shell 脚本这样分类之后素材管理会清晰很多批量生成时也不会乱。3. 角色设计与一致性控制3.1 角色一致性为什么是难点Stable Diffusion 这类扩散模型每次生成时隐性空间中的噪声起点不同所以同样的 Prompt 也可能得到完全不同的脸。这是角色不一致的根本原因。解决思路有两个方向提升 Prompt 对角色特征的约束力把角色的五官、发型、服装写得很详细。引入可复用的角色特征模型使用 LoRA 等微调技术把角色的特征固化到一个小模型中。实践中单纯写 Prompt 很难完全稳定尤其是亚洲人面孔、特定发型、特定服装。所以高效做法是“固定角色描述 LoRA 模型 固定 Seed”三者结合。3.2 用固定“角色设定卡”统一 Prompt在实际项目中每生成一组素材我会先写一份角色设定卡然后复制到每个分镜的 Prompt 中。角色设定卡示例[角色卡] female character, 25 years old, long black straight hair with bangs, wearing a white blouse and black suit skirt, round face, big dark brown eyes, light skin, gentle smile, detailed face, upper body composition, studio lighting每次生成时前面的角色部分保持不变只改后面的动作、场景、镜头描述。这样做的好处是即便角色仍然有细节漂移至少气质、发型、服装能保持一致后期筛选和重绘压力会小很多。3.3 使用 LoRA 固化角色外观如果项目里同一个角色需要大量镜头强烈建议训练一个角色 LoRA。训练 LoRA 的大致流程收集 15~30 张角色参考图图片要覆盖正面、侧面、不同表情和场景。对参考图进行预处理裁剪尺寸统一例如 512×512。给每张图写标签可以用 BLIP 或 WD14 Tagger 自动打标。使用 kohya_ss 或其他 LoRA 训练脚本进行训练。训练完成后将 LoRA 文件放到models/lora目录。生成图片时在 Prompt 中触发对应 LoRA。这里需要提醒训练 LoRA 对新手有一定门槛建议先把手动 Prompt 流程跑通确认角色方案稳定之后再做 LoRA否则很容易花很多时间训练一个不满意的模型。3.4 多视角素材生成示例下面是一个常见思路先用固定角色 Prompt 生成正面全身图再通过图生图方式生成侧面、背面和不同景别。多视角生成时在角色设定卡后面追加镜头描述即可正面全身照full body, front view, standing, neutral pose 侧面近景close-up, side profile view, 45-degree angle 背影full body, back view, walking, motion blur一般来说角色模型如果比较稳定同一视角连续生成 4~6 张图能选出 1~2 张可用的素材。4. 分镜生成从剧本到图片素材4.1 分镜脚本怎么拆剧本要先拆成分镜分镜描述要尽量具体包括景别、人物、动作、环境、光线、氛围。一个简单的分镜表格模板镜号景别人物位置动作场景光线01中景女主站在窗前回头微笑房间晨光自然光02近景女主坐下低头看手机咖啡馆暖色灯光03远景女主走在天桥停下城市夜景霓虹光分镜越细生成图片时 Prompt 越好写视频生成时动作也越可控。4.2 文生图参数详解以 Stable Diffusion WebUI 为例常用参数如下Prompt角色设定卡 镜头描述 画质词。Negative Prompt写不希望出现的内容比如lowres, bad anatomy, bad hands, extra fingers, blurry, jpeg artifacts。Steps采样步数一般 20~30太高不一定更好。CFG Scale提示词相关度一般 7~9太高容易色彩过饱和。Sampler常用 DPM 2M Karras 或 Euler a不同模型有各自的偏好。Size建议先生成 512×768 或 768×1024根据显卡调整。Seed固定种子方便复现和微调。很多新手会忽视 Negative Prompt但它对画面质量影响很大。例如不写bad hands模型可能生成六根手指。4.3 批量调用图生成 API 的 Python 示例如果使用的是 Stable Diffusion WebUI启动时可以加上--api参数开启 API 接口。下面是一个批量生成图片的 Python 示例。# 文件路径scripts/batch_txt2img.py import base64 import json import os import requests # WebUI 默认地址 API_URL http://127.0.0.1:7860/sdapi/v1/txt2img # 角色设定卡建议从文件读取这里直接写示例 CHARACTER_CARD ( female character, 25 years old, long black straight hair with bangs, wearing a white blouse and black suit skirt, round face, light skin, gentle smile, detailed face ) # 每个分镜单独定义 SCENES [ { name: scene_001, prompt: CHARACTER_CARD , full body, front view, standing in a bright room, negative_prompt: lowres, bad anatomy, bad hands, extra fingers, blurry, steps: 25, cfg_scale: 7.5, width: 512, height: 768, seed: 20240101, }, { name: scene_002, prompt: CHARACTER_CARD , close-up, side profile view, sitting in a cafe, negative_prompt: lowres, bad anatomy, bad hands, extra fingers, blurry, steps: 28, cfg_scale: 8, width: 512, height: 768, seed: 20240102, }, ] def generate_one(scene: dict, output_dir: str): payload { prompt: scene[prompt], negative_prompt: scene[negative_prompt], steps: scene[steps], cfg_scale: scene[cfg_scale], width: scene[width], height: scene[height], seed: scene[seed], } response requests.post(API_URL, jsonpayload) response.raise_for_status() data response.json() # WebUI 返回的 images 是 base64 字符串列表 for idx, img_b64 in enumerate(data.get(images, [])): img_bytes base64.b64decode(img_b64) output_path os.path.join(output_dir, f{scene[name]}_{idx}.png) with open(output_path, wb) as f: f.write(img_bytes) print(f[OK] {output_path}) if __name__ __main__: os.makedirs(images/keyframes, exist_okTrue) for s in SCENES: generate_one(s, images/keyframes)这段代码做的事情很简单遍历场景列表把参数 POST 到本地 WebUI保存返回的图片。实际项目中场景列表可以从 CSV 或 JSON 文件读取方便批量管理。4.4 用图生图和局部重绘修正细节文生图直接生成的图片经常有小瑕疵比如手部变形、面部表情不符合剧情。这时可以借助图生图或局部重绘修复。操作思路把生成好的关键帧拖进图生图面板。调整重绘幅度一般在 0.3~0.5太低看不出变化太高会改变角色外貌。用局部重绘涂抹需要修改的区域例如面部、手部。在 Prompt 中补充期望的细节例如closed mouth, natural hand pose。遇到手部问题最实用的建议是先重新生成或者换一个动作描述。局部重绘手部容易“越修越坏”不如换图快。5. 图生视频让静态画面动起来5.1 图生视频的工作原理图生视频的基本逻辑是给模型一张参考图模型根据运动描述生成连续帧。常见的技术包括 AnimateDiff、视频扩散模型等。与文生视频相比图生视频的优点是可以严格控制起始画面的构图和角色外观所以更适合短剧这种需要镜头衔接的创作场景。5.2 常用生成方式与参数在线平台通常只需要上传图片、输入动作描述、选择时长然后等待生成。参数方面不同平台界面差异大但核心关注点一致动作幅度幅度过大容易出现肢体变形幅度过小画面看起来像幻灯片。时长短剧常用 3~5 秒一个镜头太长容易出问题。运动方向描述清楚角色是原地动作、转身还是移动。本地开源方案中AnimateDiff 是常见选择。在 ComfyUI 中核心流程通常是加载图片 → AnimateDiff 模块 → 正向/负向提示词 → KSampler → VAE Decode → 保存视频节点名称会随版本变化建议到对应项目仓库查看最新工作流示例。5.3 多镜头连贯的策略多镜头连贯是整个流程中最“吃经验”的部分。我的经验是先确定每个镜头的起止画面。如果镜头 1 是女主站着镜头 2 是女主坐下那么两个镜头的关键帧必须保持服装、发型一致。动作不要跨镜头。每个镜头只生成一个简单动作复杂动作拆成两个镜头。生成视频后立即检查首尾帧。首帧通常能继承参考图尾帧最容易崩。多生成几个候选。同参数多生成 3~4 个版本从中选一个最稳定的。6. 配音、字幕与合成输出6.1 TTS 配音选型短剧对配音的自然度要求比较高。目前 TTS 工具选择很多开源方案可以做基础配音云端方案情感更丰富。需要注意的点语速要符合短剧节奏一般比新闻播报稍快。对话要分角色最好给每个角色固定音色。生成配音后要人工听一遍重点关注重音和停顿是否合理。6.2 字幕文件的自动化生成字幕可以用语音转写工具生成。流程是先得到配音音频再转写文本和时间轴最后输出 SRT 或 ASS 字幕文件。SRT 格式示例1 00:00:01,000 -- 00:00:04,000 你真的要替换他的人生吗 2 00:00:05,000 -- 00:00:08,500 我已经没有退路了。字幕文件生成后可以在剪辑软件中导入也可以直接通过 FFmpeg 烧录进视频。6.3 用 FFmpeg 脚本合成成片假设你已经有一段视频片段和一个配音文件可以用 FFmpeg 合成ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -shortest output.mp4其中-c:v copy表示视频编码不变直接复制速度快。-c:a aac表示音频转成 AAC 编码。-shortest表示以较短的输入流为基准结束输出。如果有多个视频片段可以先合并再合成音频# 先创建文件列表 list.txt # 内容示例 # file videos/scene_001.mp4 # file videos/scene_002.mp4 ffmpeg -f concat -safe 0 -i list.txt -c copy videos/concat.mp4 ffmpeg -i videos/concat.mp4 -i audio/final_audio.wav -c:v copy -c:a aac -shortest output/final.mp47. 常见问题与排查思路7.1 高频问题排查表问题现象常见原因解决思路角色每张图长得都不一样Prompt 不够固定未使用角色卡使用统一角色设定卡固定 Seed训练 LoRA生成的手部变形扩散模型对手部理解能力弱写 negative prompt减少手指特写用图生图换动作视频生成后角色脸崩动作幅度过大或参考图不清晰降低动作幅度使用高清参考图多生成候选视频闪烁严重帧间连续性差增加帧数使用视频模型推荐的参数减少镜头移动显存不足分辨率或帧数设置过高降低分辨率分批生成使用模型优化选项生成速度很慢GPU 太弱或参数过高降低 step 数使用更快采样器升级硬件7.2 一个“角色脸崩”的定位案例之前测试一个分镜时第一帧图片很正常但生成视频后第三帧开始五官扭曲。排查过程如下先把原图单独生成一次视频确认问题是否能复现。复现后把动作描述从“缓慢转头微笑”改成“保持静止微眨眼”。生成后画面稳定多了。这说明问题出在动作幅度和模型能力不匹配而不是 Prompt 错误。遇到类似情况先简化动作再逐步增加复杂度。8. 合规、版权与内容安全边界8.1 素材来源与肖像授权AI 生成内容不能完全脱离法律和版权约束尤其是商用项目使用真实人物照片训练模型或生成形象必须获得本人授权。平台生成的素材要确认是否允许商用、是否需要标识。参考其他人作品时不要直接模仿他人创作的人物或场景。8.2 AI 生成内容的标识义务目前国内对 AI 生成内容有明确的标识要求发布平台通常会要求标注“内容由 AI 生成”。在工程实践上建议在视频开头或简介中加入 AI 标识不仅合规也能避免观众误解。8.3 技术应用底线AI 生成内容必须用于合法合理场景不得用于生成违法、低俗、侵权或危害他人权益的内容。技术本身是中性的创作者和使用者需要承担对应的责任。如果你在做工具开发建议在生成环节加入内容过滤机制保护用户的同时也保护自己。9. 工程化与效率提升建议9.1 素材管理规范短剧项目素材多且杂文件名建议统一命名规则{剧名}_{集数}_{镜号}_{版本}_{生成时间}.png示例replace_life_s02_e01_scene001_v3_202401011200.png这样选素材、回退版本都会方便很多。9.2 批次生成与抽帧质检流程批量生成素材时不要一次性生成几百张就完事。更好的流程是每个镜头先生成 4 张候选图。人工选择 1 张最满意的。选中的图生成 2~3 个视频候选。抽帧检查首帧、中段、尾帧三个画面确认角色没有明显变形。批量脚本可以把“生成 → 筛选 → 返回结果”做成一个小工具减少人工重复操作。9.3 从本地工作流走向 API 服务化如果你不只是做单条内容而是要给团队或业务系统提供生成能力建议把工作流封装成服务将 Prompt、角色配置、分镜参数统一写入配置文件。通过消息队列提交生成任务避免接口长时间阻塞。生成结果写入对象存储或数据库提供回调和任务查询接口。对关键操作进行日志记录方便定位生成失败原因。架构不一定要复杂先做到“配置化 任务化 可追踪”就能比纯手动操作提升很多效率。10. 总结与下一步学习路线AI 短剧的制作本质上是一场“可控性”的较量。通过角色设定卡、LoRA、固定 Seed、图生视频和 FFmpeg 合成可以搭建一条从剧本到成片的完整工作流。建议下一步按顺序学习先掌握 Stable Diffusion 文生图和图生图理解 Prompt 和采样参数。学习 ComfyUI 的基础节点和工作流拼接。开始训练一个自己的角色 LoRA。尝试用图生视频生成一个 5 秒内的镜头。用 FFmpeg 完成一次完整剪辑合成。真正动手时建议从一个 30 秒以内的剧情开始先把全流程跑通再逐步加长。角色一致性不可能一步到位每多生成一批素材就多一些筛选和修正经验。等你能稳定生成同一个角色的一组分镜再开始扩展镜头数量。这套流程越早跑通后面的创作效率就越高。