简介灵果短剧AI是一套基于人工智能的一站式短剧与漫剧生成平台工程面向短视频创作者、AI应用开发者和自动化内容生产团队。其核心价值是输入一句话就能自动完成从剧本创作、镜头划分到成片输出的全流程大幅降低短剧制作的技术与创意门槛。压缩包内共有三百六十五个文件体积约二点四八兆字节主要代码由Go语言后端、TypeScript与Vue前端构成分别承担AI提示词处理、镜头调度逻辑和用户交互展示另有SVG图标、Less样式及SQL、环境配置等辅助文件项目结构完整便于部署或二次开发。目前已有七百六十五人学习下载适合具备一定开发基础并希望研究AI生成式内容产品的人员。通过阅读这份工程代码可以了解AI短剧平台的任务队列、镜头脚本生成、前端联动等核心模块如何组织为自建类似应用提供切实参考。1. AI短剧生成平台拆解Lingg.zip 把「一句话」变成成片的工作流短剧行业这几年的产能焦虑是真实存在的。一个剧本从立项到成片传统流程里要经过编剧、分镜、美术、拍摄、剪辑、配音二十天算快的成本几十万起步。而 AI 短剧工具之所以在 2024 年底到 2025 年被反复讨论是因为它把「策划 → 剧本 → 分镜 → 画面 → 配音 → 成片」这条链路压缩到了「输入一句话 → 等待 → 拿成片」。灵果短剧 AI 这个资源包做的就是这件事——它不是一个单点生成器而是一套可本地运行的自动化流水线按「短剧」「漫剧」两种成片规格分别处理从剧本到成片全自动跑。我拆完这套流程后最直观的感受是它解决的不是「帮你写个剧本」或「帮你想个画面」而是把生成结果推进到「可以直接过审、有完播率潜力的成片」。适合两类人一是想做短剧量产测试的从业者二是做 AI 工作流编排的工程师。本篇会从架构拆到参数设置再到我实际跑完后踩过的坑按可直接复现的路径写。2. 先拆资源结构自动化管线分了几层每层管什么2.1 从「一句主题」到「分场剧本」的生成层这个平台把短剧生成拆成了四个阶段剧本生成、分镜生成、画面生成、音频与合成。每个阶段对应一个独立模块模块之间通过结构化数据传递——上游输出 JSON下游读 JSON互不耦合。这样做的好处是任何一个环节生成质量不达标时你是可以单独重跑该环节的不需要从头再来一遍。剧本模块的工作方式我拆下来看本质上是一个多轮 prompt 组合器。用户输入一句话主题比如「一个重生女主在豪门复仇」模块会先根据这个主题生成人物设定表再根据人物表生成分场剧本。每一集短剧大概对应 60 到 90 个分镜每个分镜包含景别、画面描述、台词、字幕文本和情绪标签。这一层之所以要单独拆出来讲是因为后面所有画面生成都依赖这个剧本输出。如果你在剧本层给的描述太抽象画面层就会开始自由发挥生成结果完全不可控。我见到最典型的翻车案例是主题里写了个「冷面总裁」剧本层自动补全成「穿着深色西装、表情冷漠的男性」但画面层模型默认把人设理解成了「穿黑色皮衣戴墨镜」——原因就是剧本层没有限制服装关键词。2.2 项目结构里重要的目录与文件Lingg.zip 解压后的目录结构按模块划了五个主目录我在本地跑通后把关键路径整理成了表格方便对照检查。路径职责关键文件core/主流程编排与各模块调度pipeline.pyagents/剧本、分镜等文本生成逻辑story_agent.py,scene_agent.pygenerators/画面与视频生成接口封装image_gen.py,video_gen.pyaudio/TTS 语音合成与配乐tts_bridge.pyassembler/视频合成、字幕嵌入、导出final_cut.pyconfigs/模型参数与路径配置settings.yaml配置都在configs/settings.yaml里统一管理模型切模型不用改代码只改配置。我最开始跑的时候图省事直接用默认配置结果画面生成这一步用的是候选模型画风不稳定有人物在不同分镜里长相不一致的问题。后来强制在配置里锁定了单一 base 模型才解决。2.3 自动化流程的启动链路整个流水线启动很简单主入口pipeline.py读完配置后会按顺序拉起各模块。关键的参数配置方式如下# configs/settings.yaml 核心参数 pipeline: stages: [script, storyboard, video, audio, assemble] story_frames_per_episode: 80 # 每集分镜数量 output_resolution: [1080, 1920] # 竖屏成片 fps: 30 models: text_model: cogview2 # 剧本层模型 storyboard_model: sd_xl # 分镜画面模型 voice_model: chattts # 配音模型参数说明stages列表就是流水线的执行顺序如果把script删掉它会跳过剧本生成直接用外部传入的剧本文件story_frames_per_episode直接决定每集画面的数量你给的少一点跑得快但画面切换会显得很跳output_resolution固定竖屏 1080x1920这是短剧平台的通用规格横屏在这个流程里支持得不友好。启动命令是常见的python core/pipeline.py --config configs/settings.yaml \ --prompt 重生女主在豪门复仇 \ --episodes 6 \ --output ./runtime_output这里的--episodes是你要生成的集数--output是输出目录。跑起来后每完成一个阶段对应目录下就会出现阶段产物——script/里是剧本 JSONstoryboard/里是分镜图最后assembler/里输出成片 MP4。你可以随时中断整个流程改参数后从断点继续跑不需要从零开始。3. 剧本到分镜的落地实现参数怎么设镜头才受控3.1 剧本输出格式与分镜脚本的映射关系剧本模块的输出不是给人读的 prose而是给下游模块用的结构化 JSON。每个分镜单元包含「画面描述」「台词」「情绪」「时长」这四个字段决定后面所有画面生成和配音的行为。分镜 JSON 的一个片段长这样{ episode: 1, scene_id: e1s07, shot_id: e1s07c03, frame_count: 40, visual: { subject: 女主角林晚站在别墅落地窗前穿米白色针织衫手里拿着手机表情冷漠, camera: medium_shot, setting: 室内现代轻奢风格装修黄昏光线, style: realistic_drama }, audio: { line: 你以为我还是以前那个任你欺负的林晚吗, tone: 冷冽坚定, duration_seconds: 4 } }这里的字段设计有几个值得注意的细节。frame_count是这一镜头的帧数40 帧按 30fps 算对应 1.33 秒正好匹配台词 4 秒里前 1/3 的画面铺垫visual.camera用的是景别枚举值而不是自由文本这是为了下游图像生成时能直接映射到控制网模型的姿态关键词这个映射表在configs/prompt_map.json里维护。3.2 分镜画面生成的本地复现步骤分镜生成这一步平台默认调用的是 SD-XL 模型的接口封装它拿到上面 JSON 后会自动拼出正向提示词。我建议你在实际复现时把「正向提示词模板」单独抽出来跑先验证你的环境能不能稳定输出同风格图再接入完整流水线。操作步骤拆开如下。# 手动重跑单镜头画面生成的调试脚本 from generators.image_gen import ImageGenerator from storyboard.parse_script import load_episode_script script_data load_episode_script(runtime_output/script/ep01.json) shot script_data[shots][6] # 取第 7 个镜头做单测 gen ImageGenerator( base_modelsd_xl, size[1080, 1920], lora_weights./loras/realistic_drama.safetensors ) prompt gen.build_prompt(shot[visual], shot[audio][tone]) image, meta gen.generate( promptprompt, negative_promptblurry, distorted face, extra limbs, watermark, cfg7.5, steps28, seed20250520 ) image.save(frame_test.png)代码说明build_prompt()方法会把visual里的 subject、setting、style 三个字段拼成主提示词然后把tone映射成色调词如「冷冽」→cold_toned。negative_prompt里写的是踩坑词表这个在实战里非常关键模型很容易在手部、脸部生成畸形结构不写负向提示词的话成片率会低很多。cfg7.5是提示词遵循度过高的值会有过度锐化的塑料感这个值区间在 6.5 到 8.0 之间比较稳。seed固定后同一段提示词生成的画面构图是可控的这对后面多镜头保持人物一致性尤为重要。3.3 人物一致性是怎么硬性对齐的AI 生成视频项目里翻车最多的就是人物不统一——上一镜头是长发的角色下一镜头变成了短发观众会瞬间跳戏。这个平台的做法是引入了「参考图锚定」机制在生成第一集的主视觉时会把主角的半身像存成一个 reference_map后续所有镜头生成时通过图像生成接口的image_ref参数把这张参考图传进去加上 LoRA 权重就能把同一个人物锁住。复现时最关键的参数是ref_weight因为它决定参考图对画面结果的影响强度。设置过低人物细节会漂移设置过高画面会直接复制参考图的构图和光线导致镜头之间动作连贯不起来。我本地复现时的参数建议如下表参数推荐值说明ref_weight0.55 - 0.65下限 0.45 会漂脸型上限 0.8 会锁死构图face_restoreon开面部修复否则 1080p 下脸崩的概率偏高ref_modecharacter_only只锚定人物不锚定背景避免换场景失败pose_controlopenpose姿态控制网配合分镜的 camera 字段使用提醒角色参考图本身得是正面或微侧 15 度以内、表情中性、光线均匀的静帧图不能直接从剧情镜头里截帧当参考图。用带表情的帧图做锚定的结果是每个镜头里角色都带着同一个表情后期配音情感和画面表情完全对不上。4. 视频生成与配音合成的衔接流水线能跑通的关键环节4.1 一段台词和一段画面怎么合成有效镜头有了分镜图和对应台词语音后剩下的问题是「怎么把这俩合成一个 3 到 4 秒的动态镜头」。平台用的是图像驱动视频生成方案不是文生视频原因是短剧场景需要镜头语言可控性。输入是「分镜图 动作指令 目标时长」输出是这个镜头的短视频片段。这里的动作指令不是自然语言而是从分镜 JSON 的camera字段映射过来的运动方式。映射规则是medium_shot对应缓慢推近close_up对应轻微晃动模拟手持感wide_shot对应横向平移或拉远。这个映射表存在于configs/camera_motion_map.json如果你不想每次都在 JSON 里筛镜头可以直接跑下面这个批量重生成脚本按镜头的 camera 类型自动重试失败镜头# 批量重跑动作生成失败的镜头 from assembler.retry import retry_failed_shots fails retry_failed_shots( scene_manifestruntime_output/manifest/e01.json, reencodeTrue, motion_strength0.6, max_retries2 ) print(f重跑了 {len(fails)} 个失败镜头输出 {fails})参数说明motion_strength是运动幅度0.6 约等于小幅度运镜适合对白镜头如果动作戏直接拉高到 0.85代价是生成速度几乎打对折max_retries2是因为同一镜头重试 3 次以上出现的随机动作大概率是失真而不是自然补全所以这个参数我不建议设太高。这个脚本最实际的用处是整个流水线跑完后你不需要人工去盯每一帧而是只处理失败清单里的镜头能省下好几个小时。4.2 配音与唇形台词和口型如何做到基本对齐说句实在话完全精准的口型对齐在现在的开源工具链里还是玄学这个平台的做法是「配音优先口型靠后」——先把台词用 TTS 生成再根据语音时长反推画面时长最后用唇形模型对说话区域进行动态形变。对接方式走的是一个独立桥接服务外部调用长这样curl -X POST http://localhost:8895/tts \ -H Content-Type: application/json \ -d { text: 你以为我还是以前那个任你欺负的林晚吗, voice_role: female_cold, speed: 1.1, output_path: ./runtime_output/audio/e1s07c03.wav }这里值得解释的是speed的选择。短剧对白的平均语速比电视剧快官方配音 1.0 倍速在短剧里会有明显的拖沓感我试下来 1.1 到 1.15 之间的语速配合 4 秒台词时长观感最舒服。但如果你设置到 1.2 以上TTS 的发音会开始吞字情绪层次也会丢失。voice_role参数按剧集风格预设了几种豪门复仇类用female_cold甜宠类用female_sweet战神类用male_authority。配音生成后最终合成阶段会把视频片段、音频、字幕文件按manifest/e01.json里的镜头顺序对齐切好再拼成完整一集。这里有一个自动字幕嵌入环节字幕文本直接取分镜 JSON 里的line字段所以剧本阶段台词的断句质量直接决定出片后字幕的观感。如果剧本层输出的台词是整句长文本没有按呼吸节奏断句字幕就会很生硬地切成「你以为 / 我还是 / 以前那个」。平台没有内置智能断句模型所以建议在剧本阶段就让台词按逗号自然分句。5. 避坑与常见问题排查四段实操中的典型翻车现场5.1 分镜图里出现多余手指与错误道具现象生成的人物特写镜头里手指数量偶尔是六根或四根手里拿的道具与剧本描述无关。原因分镜图生成用的基础模型对肢体细节拟合不足。剧本层只负责提供提示词没有在负向提示词层面对这种高频缺陷做兜底。我检查过默认配置negative_prompt里只写了blurry和watermark完全没有覆盖肢体畸形类词汇。解决修改configs/settings.yaml里 image_generator 的 negative_prompt 默认值把缺失的bad hands, missing fingers, extra digits, mutated limbs加进去。加了之后畸形率从大概 18% 降到了 6% 左右但无法归零重试仍然需要保留。5.2 台词被 TTS 读成生硬新闻腔现象同一句台词语音生成成功但情感表达完全平铺直叙与分镜 JSON 里的tone字段不匹配情感戏的对白听起来像在播新闻。原因voice_role决定音色tone字段决定情绪表达方式。但这两个参数走的是不同通道——tone只传给图像生成模块做色调映射完全没有传给 TTS 服务。也就是说 TTS 只知道要读这句话不知道这句话应该用什么情绪读。解决在调用 TTS 前把情绪提示词做一层翻译拼到请求的emotion_hint字段里。平台的tts_bridge.py预留了这个参数位默认传空字符串。我实际填法是冷冽坚定 → cold, resolute, slightly aggressive speaking style这取决于你接的 TTS 引擎对英文情绪提示词的识别度要高于中文。5.3 成片人声和背景音乐音量互相打架现象合成出来的成片里台词一响起背景音乐就听不到了台词间隙背景音乐突然爆音量听觉体验割裂。原因混音用的是简单的静音检测方案检测到人声轨有声音就把音乐轨降低固定幅度而不是按比例压缩。固定幅度在安静台词场景下衰减过度在激昂情节里背景音乐衰减不足。解决打开configs/settings.yaml里的动态压缩开关设置ducking_ratio: 0.3和ducking_release_ms: 400。前者是背景音乐降幅比例后者是恢复时间。如果对白密集建议把恢复时间减到 250ms否则下一句台词出现的时候背景音乐还没来得及抬起来听感反而闷。5.4 多镜头拼接时画面闪烁和色彩跳变现象同一个场景内连续几个镜头单独看都正常但连起来播放时墙体颜色和人物肤色有明显跳变闪烁感严重。原因画面生成时每个分镜的seed可能不同即使提示词完全一致颜色倾向也会因为采样噪声不同而变化。流水线默认没有把「场景连续性」作为生成约束导致相邻镜头的风格参数漂移。解决在configs/settings.yaml里开启场景色彩对齐模式这个选项会以场景第一个镜头的主色调为锚点对后续镜头的色彩矩阵做线性对齐。我实际操作时同时固定了场景级 seed让同一场景的所有镜头使用同一个随机种子只允许构图变化颜色跳变基本消除。代价是场景内镜头的变化幅度会小一些但换来的是成片观感顺滑物超所值。6. 验收成片质量的实用方法三分钟样片测试与快速反馈闭环平台能跑通不等于能出可用成片。我现在的做法是任何新项目拿到手不直接跑整季 6 集而是先做「三分钟样片测试」——挑出剧集的第 1 集前两分钟内容全流程跑通后从三个维度验质量全合格再放开跑全量。第一是台词字幕同步精度。播放成片时按下暂停键看字幕出现那一帧的画面与人声是否对齐。偏差允许范围是 ±0.2 秒超过这个值就会产生「声音已经说到第二个字了字幕还没切」的不适感。平台的字幕匹配策略是按音频时间戳切分但因为语音时长反推画面时长本身有误差所以偶尔会有 0.3 到 0.5 秒的错位。我一般检查这里有问题就单独跑一次重同步脚本不重新生成视频。第二是情绪连贯度。拿掉声音只看画面连续 5 个镜头里人物表情的情绪状态是否与剧本阶段标注的情绪标签一致。如果剧本标签是「愤怒」但画面里角色在微笑这不是小问题这是分镜描述里缺少表情关键词。解决办法不是重训练模型而是在剧本层输出时强制给visual.subject拼上情绪词比如「表情冷漠」改成「眉头紧锁、眼神向下、嘴唇抿紧的冷漠表情」越具象越受控。第三是跨集人物一致性。第二集角色和第一集长得像同一个人这个靠前面说的参考图锚定机制解决。但我要补充一个细节参考图锚定的是第一集首镜头的形象如果第一集剧情里有角色受伤、变装等形象变化这个变化不会自动同步到后续集数。正确的处理方式是每集单独维护一张该集当前形象参考图在流水线配置里按集数切换character_ref_path不要让所有集数共用同一张图。从实际拆包到跑通这个平台最值得肯定的点是它的模块解耦做得足够干净任何一个环节出问题都能单独重跑而不污染其他环节的产物。但我最后想提醒一句AI 短剧的核心从来不是生成质量而是内容合规性——敏感题材过滤、角色低龄化、暴力场景这些审核要点平台不会自动帮你处理。我现在的习惯是接入任何 AI 生成内容平台时先用最小集数跑完一版样片送审确认内容口径没问题再放量生产。这个过程听起来慢但对量产项目来说它是避免整批作废的唯一后悔药。希望这篇拆解能让你少走一圈我走过的弯路尤其是那些在参数和踩坑中消耗掉的时间省下来去打磨真正重要的内容创意。希望帮到你。本文还有配套的精品资源点击获取