尧图网页设计 
简介基于AnimeGAN2的人脸动漫化实现包面向深度学习开发者与图像风格迁移爱好者聚焦真实人脸转动漫风格覆盖模型结构定义、训练/推理脚本、PyTorch与ONNX格式互转、dlib人脸关键点对齐等环节。压缩包共28个文件约119.34MB主要包含Python源码、PyTorch权重、ONNX模型、示例图片及依赖清单目录结构清晰便于按阶段运行调试。已有1026人学习下载适合作为人脸动漫化项目落地的参考实现。资源提供完整的测试脚本与模型转换工具配合人脸关键点检测数据和多组预训练权重、测试图片可快速体验不同风格效果帮助理解从PyTorch训练到ONNX部署的完整流程对研究GAN应用或需要工程化部署的开发者具有参考价值。1. AnimeGAN2 是什么先用一张正脸图理解它的“重绘”底线没用过 AnimeGAN2 的工程师很容易把这四个词当成同类滤镜载入模型读一张图见到一张二次元脸就算完成。真正在做人脸动漫化项目的人知道问题从来不是能不能动漫化而是动漫化之后人脸还认不认得出来背景被压成色块的同时眼睛和下颌线会同时被拽向模板化的形状角度稍偏就变成另一个人。AnimeGAN2 解决的就是这种结构保持问题它以生成对抗网络为底用灰度对抗和颜色重建两类约束把真实照片画成动漫风格又比第一代少了大量伪影是人脸动漫化里最容易被直接搬运的模型。它适合做头像生成、直播风格化和批量出图的工程师也适合刚接触 GAN、想找一个现成模型落地推理的算法同学。这篇内容只讲能跑通的路径权重怎么选、推理怎么写、哪些参数真正影响“像本人”。2. 看懂 AnimeGAN2 的模型结构再决定它适不适合人脸动漫化2.1 生成器采用 U 型主干靠跳跃连接保存人脸结构AnimeGAN2 的人脸动漫化能力不是靠某条事先写好的滤镜规则而是靠一套更偏结构保持的生成网络。常见实现里生成器主干是一个编码器-解码器结构编码器把真实照片逐级下采样压缩到低分辨率的隐空间解码器再从隐空间恢复出图像。如果只做普通的下采样卷积嘴角、发梢、眼镜框这类小尺度特征很容易被压没解码器再想凭空补回来就很难。因此在解码端会接入跳跃连接把编码阶段已经算好的浅层特征直接并进来让生成器不需要从零猜测人脸边缘。这个设计在推理端的直接表现是当人脸角度偏、刘海遮眼、戴眼镜的时候输出不至于塌成一张整齐但完全不像的模板脸。跳跃连接在小尺寸人脸上最容易看出差别——如果一张 256×256 的输入里人脸只占几十像素重绘后往往会出现局部重复纹理而保留跳跃连接的版本会携带更多原始边缘信息。从部署角度看生成器的主要计算开销集中在中间的低分辨率特征层所以不要一上来就调高输入分辨率先确认瓶颈是不是在卷积本身。AnimeGAN2 与第一代一个显著区别是少了很多伪影。常见说法是它把生成器里的归一化层做了调整同时去掉了会放大斑点噪声的结构这让脸部皮肤区域更干净。对做项目的人来说这个差异意味着生成图不需要额外做降噪后处理节省掉一整条去噪流水线。2.2 灰度对抗损失与颜色重建损失决定动漫感和不掉色训练一个能做人脸动漫化的人脸动漫化模型最怕两件事一是风格不够“漫”输出看起来只是原始图加了个对比度二是颜色乱飘脸是动漫了但整体偏绿或者偏紫。AnimeGAN2 把这两件事拆开处理这个拆法对工程选型很有参考价值。灰度对抗损失的做法是把生成图和真实动漫图都转成灰度再让判别器判断真假。RGB 空间里判别器太容易靠颜色分布区分图像比如真实天空的蓝和动画天空的蓝差异巨大但颜色会干扰它对线条和阴影的判断。把颜色信息去掉之后判别器只能依赖硬边、线条走向和明暗层次而这些正是二维动漫感的主要来源。这个思路后来被不少风格化项目单独拆出去用也是 AnimeGAN2 最值得关注的一个设计。颜色则交给颜色重建损失去约束目标是让输出图的整体色相靠近输入照片防止出现人脸偏色的 GAN 副作用。推理时不跑这两类损失但它们决定了模型权重的行为一个权重如果生成的脸细节全平、颜色也偏得厉害先怀疑权重选错而不是急着在解码端加饱和度。2.3 预训练风格权重怎么挑Hayao、Shinkai 还是 Paprika拿 AnimeGAN2 做人脸动漫化很少会从零训练。业内常规做法是直接使用预训练权重做推理不同权重对应不同的动画画风差异比想象中大得多。下表列出常见权重和对应的人像表现选型时建议以“正脸照片画面是否干净”为第一标准。权重名画风特征人脸动漫化建议Hayao_36高饱和阴影呈硬边大色块正面半身像效果好适合大多数头像场景Shinkai_19亮部偏亮空气感强线条更轻发色变化大的女孩头像保留细节更好Paprika_23平涂感强装饰线条多侧脸和大角度头部姿态不容易崩下载权重后不要直接接业务代码。先把同一张正面照分别用这三个权重各跑一遍对比三个输出的下颌线、眼型和发际线。我一般会准备 5 张固定测试图每次换权重都先把它们过一遍确认“像本人”的下限没被突破再谈风格切换功能。如果产品里需要风格选择最稳的做法不是训练自己的风格而是把多个官方权重都保留下来用参数切换推理时加载哪个文件。3. 本地跑通 AnimeGAN2 人脸动漫化推理代码与最小参数3.1 环境安装onnxruntime 与 opencv 的最小组合有不少教程默认用 TensorFlow 载入 AnimeGAN2 的 pb 模型实际做项目时我通常不这么选。TensorFlow 运行时体积大部署到 CPU 环境也慢更常见的做法是转好的 ONNX 权重配合 onnxruntime 推理单个依赖就能在桌面 CPU 上跑出可用速度。没有现成 ONNX 权重时可以从官方仓库拿到 pb 再转一次转换过程不在业务代码里先转好再引路径即可。python3 -m venv venv source venv/bin/activate pip install onnxruntime opencv-python-headless numpy这里的 opencv-python-headless 适合服务器环境不依赖 GUI 显示库。如果本地调试想看弹窗换成 opencv-python 也行。onnxruntime 不需要指定版本当前稳定版本都能加载常见的 AnimeGAN2 ONNX 权重。装完先验证是否能看到 session 的输入信息。3.2 完整推理脚本输入输出的形状与值域要先对齐AnimeGAN2 的 ONNX 权重大部分要求 256×256 方形输入输入张量形状是 (1,3,256,256)顺序为 NCHW输出形状与输入一致。比较容易踩坑的是像素值范围不同转换仓库出来的权重对输入范围定义不同有的期望 [-1,1]有的期望 [0,1]。下面的代码先按 [-1,1] 处理如果生成图变成紫色或全是灰块把归一化行里的减 1 去掉再试。import cv2 import numpy as np import onnxruntime as ort session ort.InferenceSession( AnimeGANv2_Hayao_36.onnx, providers[CPUExecutionProvider], ) input_name session.get_inputs()[0].name def stylize(image_bgr: np.ndarray, size: int 256) - np.ndarray: h, w image_bgr.shape[:2] # 先扩展成正方形避免直接缩放把脸型压扁 side max(h, w) canvas np.zeros((side, side, 3), dtypenp.uint8) canvas[:h, :w] image_bgr rgb cv2.cvtColor(canvas, cv2.COLOR_BGR2RGB) rgb cv2.resize(rgb, (size, size), interpolationcv2.INTER_AREA) tensor rgb.astype(np.float32) / 127.5 - 1.0 tensor np.transpose(tensor, (2, 0, 1))[None, ...] out session.run(None, {input_name: tensor})[0] out np.transpose(out[0], (1, 2, 0)) out (out 1.0) * 127.5 out np.clip(out, 0, 255).astype(np.uint8) out cv2.cvtColor(out, cv2.COLOR_RGB2BGR) result cv2.resize(out, (side, side), interpolationcv2.INTER_CUBIC) return result[:h, :w]逻辑说明先把任意尺寸图像统一补边成正方形防止非等比缩放把脸拉变形进入模型前转成 RGB、归一化到 [-1,1]然后按 NCHW 增加 batch 维度。推理结束后要反归一化回 [0,255]再转回 BGR 交给 OpenCV 保存。最后把结果截回原始宽高。参数说明size 默认 256是 ONNX 模型最常见的输入尺寸如果模型元信息显示的输入是其他值比如 192必须同步修改 size。interpolation 在前处理用 INTER_AREA 是为了降采样不出现摩尔纹后处理放大用 INTER_CUBIC 保留边缘锐度。跑完一张图后先看输出是不是 256×256再看脸型是否被拉伸这两点能排除一半的推理问题。3.3 人脸动漫化的正确姿势先检测人脸框再重绘贴回整张照片直接过 AnimeGAN2 也能出图但那不叫“人脸动漫化”更接近整图风格化。如果目标是把真人的脸变成动漫脸同时保留背景细节和原图分辨率正确流程是先做人脸检测把脸部区域裁出来动漫化最后贴回原图。这个步骤决定了业务落地时的质感。face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) def anime_face_pipeline(bgr: np.ndarray) - np.ndarray: gray cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors5, minSize(96, 96) ) if len(faces) 0: return stylize(bgr) x, y, w, h max(faces, keylambda f: f[2] * f[3]) margin int(min(w, h) * 0.15) x0 max(x - margin, 0) y0 max(y - margin, 0) x1 min(x w margin, bgr.shape[1]) y1 min(y h margin, bgr.shape[0]) face bgr[y0:y1, x0:x1] stylized_face stylize(face) result bgr.copy() result[y0:y1, x0:x1] stylized_face return result逻辑说明先用 OpenCV 的 Haar 级联检测人脸框选面积最大的框作为主脸并按人脸宽高的 15% 向外扩展给额头和下巴留出绘制空间。接着把脸部区域送入 stylize因为脸部区域已经接近方形被拉伸的风险大大降低。最后把动漫化结果直接写回原图坐标。参数说明scaleFactor 是每轮检测的缩放步长越大检测越快但容易漏脸1.1 在速度和召回之间比较均衡minNeighbors 控制误检数值越大越严格单人照片用 5 可靠minSize 过滤掉小目标避免远处背景里的花坛被当成脸。注意 Haar 对侧脸和大角度抬头效果不好有这类输入时换成 mediapipe 的人脸检测器会稳很多。这段流程里把动漫化脸直接贴回原图会有较明显的拼接边界第四章会在贴回之前做颜色和结构融合。4. 让人脸动漫化更像本人调节 AnimeGAN2 输出的三个参数位4.1 alpha 混合控制风格强度而不是继续调饱和度很多人在 AnimeGAN2 输出图上提高饱和度、拉对比度结果动漫感没变人脸反而过度锐化。正确做法是直接在生成图和原图之间做 alpha 混合让“动漫化程度”成为一个连续可调参数。这个参数不是模型参数但它在产品里几乎取代了所有滤镜类调节。alpha 0.7 face_out cv2.addWeighted(stylized_face, alpha, original_face, 1 - alpha, 0)逻辑说明stylized_face 是 AnimeGAN2 输出的动漫脸original_face 是同尺寸的原始脸。addWeighted 按 alpha 比例把两者线性混合alpha 越高动漫感越强。由于两张图都来自同一个脸部区域尺寸一致不需要额外对齐。参数说明alpha 推荐 0.5 到 0.8低于 0.4 时动漫特征几乎看不出来高于 0.9 时 AnimeGAN2 产生的平坦阴影会盖掉真实皮肤质感人脸反而显得假。对直播或视频场景alpha 还可以做成随时间缓慢变化的动效比直接切换模型权重平滑很多。4.2 Lab 空间只混合亮度保留原图颜色信息alpha 混合是一个全局操作它同时混合了结构和颜色结果经常是动漫线条和真实肤色各占一半。若想保留原图准确的颜色同时保留动漫的线条阴影可以在 Lab 空间里只混合 L 通道ab 通道完全取原图的颜色。这个技巧对肤色还原非常有效。def blend_in_lab(original_bgr, stylized_bgr, l_strength0.75): lab_o cv2.cvtColor(original_bgr, cv2.COLOR_BGR2LAB) lab_s cv2.cvtColor(stylized_bgr, cv2.COLOR_BGR2LAB) blended_l ( lab_s[..., 0].astype(np.float32) * l_strength lab_o[..., 0].astype(np.float32) * (1 - l_strength) ) lab_o[..., 0] np.clip(blended_l, 0, 255).astype(np.uint8) return cv2.cvtColor(lab_o, cv2.COLOR_LAB2BGR)逻辑说明Lab 空间的 L 通道描述明暗a 和 b 通道描述红绿、黄蓝方向。这里把动漫图的高频明暗结构按 l_strength 混入原图同时原图的 a、b 颜色通道保持不动等效于“用动漫线条重画但用本人肤色填色”。参数说明l_strength 推荐 0.6 到 0.85太大会让脸发灰太小则动漫轮廓线不够明显。这个方法比 alpha 混合更适合女性头像和儿童照片因为肤色漂移是这类场景最常见的投诉点。4.3 用关键点遮罩把五官放回原图位置AnimeGAN2 生成的动漫脸最容易破坏的地方是眼睛和牙齿尤其是虹膜高光经常被压成色块。要解决这个问题不能只靠全局混合因为全局混合会把动漫眼线也一起淡化。更好的做法是生成一个人脸关键点遮罩把原始眼睛区域以无缝克隆的方式放回动漫脸上。def keep_eyes(original_face, stylized_face, left_eye, right_eye, rx, ry): mask np.zeros(original_face.shape[:2], dtypenp.uint8) for center in (left_eye, right_eye): cv2.ellipse(mask, center, (rx, ry), 0, 0, 360, 255, -1) center (mask.shape[1] // 2, mask.shape[0] // 2) return cv2.seamlessClone( original_face, stylized_face, mask, center, cv2.NORMAL_CLONE )逻辑说明先按两眼中心构建两个椭圆遮罩范围只覆盖眼睛区域然后用 OpenCV 的 seamlessClone 把原图眼睛像素自然融合到动漫脸上。NORMAL_CLONE 模式会计算边界处的颜色变化梯度让贴入区域和周边肤色平滑衔接避免出现明显的圆形裁剪痕迹。参数说明rx 取眼宽的 0.55 到 0.6 倍ry 取眼高的 0.4 到 0.5 倍数值偏大容易把动漫眼线也覆盖掉偏小则高光保留不住。seamlessClone 要求原图和目标图尺寸完全一致调用前先确认两张脸图都来自同一个检测框裁剪。按同样的思路可以继续对牙齿做矩形 mask 回贴这在面对开口笑照片时能明显提升自然度。下面这张参数表可以贴在项目配置里方便不同场景快速切换参数位推荐区间主要作用alpha 全局混合0.5 - 0.8控制整体动漫化强度l_strength 亮度混合0.6 - 0.85保留原图肤色只借动漫轮廓eye mask 回贴0.55 / 0.45 倍防止虹膜高光和眼线被压平5. 用 AnimeGAN2 做批量人脸动漫化时的效率技巧5.1 复用会话配置线程数与图优化级别批量处理大量照片时最容易犯的错误是在循环里反复创建 InferenceSession。这个对象的初始化包含模型加载和图优化开销不小。正确做法是程序启动时创建一个全局 session循环里只调用 session.run。sess_options ort.SessionOptions() sess_options.intra_op_num_threads 4 sess_options.execution_mode ort.ExecutionMode.ORT_SEQUENTIAL sess_options.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL session ort.InferenceSession( AnimeGANv2_Hayao_36.onnx, sess_options, providers[CPUExecutionProvider], )逻辑说明intra_op_num_threads 设置为 4 在常见桌面 CPU 上能稳定缩短单张推理耗时graph_optimization_level 设为 ORT_ENABLE_ALL 会让 onnxruntime 对计算图做常量和算子融合不改变结果但能减少部分冗余计算。参数说明线程数不建议超过物理核心数设为 8 或 16 不会带来成倍提升反而会因为线程切换增加耗时。如果使用 GPU把 providers 改成 CUDAExecutionProvider同时保持 session 复用的逻辑不变。5.2 用自检样本集替代肉眼随机看图批量工程还需要一套可以回归的验证方法。我会固定 10 张测试图涵盖正脸、侧脸、戴眼镜、儿童、较暗肤色五类每次换权重或调参数后都重新跑一遍。判断标准是眼睛是否可分辨发际线是否出现锯齿形断裂肤色是否偏青或偏紫。数值层面看颜色偏移比较直接把 AnimeGAN2 输出转到 Lab 空间a 通道均值超过 20 或 b 通道均值超过 25 就说明这个权重对当前输入存在明显色偏需要调整颜色保留参数。5.3 视频流场景下的增量复用如果是摄像头取流或视频帧处理不需要每帧都做人脸检测和动漫化。常见技巧是计算当前帧与上一帧的灰度差值低于阈值时直接复用上一帧检测到的人脸框和动漫化结果只有当画面变化明显时才重新推理。这样能省掉大量重复计算尤其适合直播场景。实现时把上一帧的脸框和输出缓存下来在下一帧输入时先比较整体亮度差异差异小于预设值则直接返回缓存结果。阈值需要根据实际输入范围标定uint8 图像一般用 3 到 5归一化后的 float 图像用 0.01 到 0.03没有固定值以画面不出现明显卡顿感为准。把这个缓存机制和固定测试图回归放在一起动漫化工具的维护成本会低很多。本文还有配套的精品资源点击获取 AnimeGAN2人脸动漫化实战：从模型原理到ONNX推理与参数调优
简介基于AnimeGAN2的人脸动漫化实现包面向深度学习开发者与图像风格迁移爱好者聚焦真实人脸转动漫风格覆盖模型结构定义、训练/推理脚本、PyTorch与ONNX格式互转、dlib人脸关键点对齐等环节。压缩包共28个文件约119.34MB主要包含Python源码、PyTorch权重、ONNX模型、示例图片及依赖清单目录结构清晰便于按阶段运行调试。已有1026人学习下载适合作为人脸动漫化项目落地的参考实现。资源提供完整的测试脚本与模型转换工具配合人脸关键点检测数据和多组预训练权重、测试图片可快速体验不同风格效果帮助理解从PyTorch训练到ONNX部署的完整流程对研究GAN应用或需要工程化部署的开发者具有参考价值。1. AnimeGAN2 是什么先用一张正脸图理解它的“重绘”底线没用过 AnimeGAN2 的工程师很容易把这四个词当成同类滤镜载入模型读一张图见到一张二次元脸就算完成。真正在做人脸动漫化项目的人知道问题从来不是能不能动漫化而是动漫化之后人脸还认不认得出来背景被压成色块的同时眼睛和下颌线会同时被拽向模板化的形状角度稍偏就变成另一个人。AnimeGAN2 解决的就是这种结构保持问题它以生成对抗网络为底用灰度对抗和颜色重建两类约束把真实照片画成动漫风格又比第一代少了大量伪影是人脸动漫化里最容易被直接搬运的模型。它适合做头像生成、直播风格化和批量出图的工程师也适合刚接触 GAN、想找一个现成模型落地推理的算法同学。这篇内容只讲能跑通的路径权重怎么选、推理怎么写、哪些参数真正影响“像本人”。2. 看懂 AnimeGAN2 的模型结构再决定它适不适合人脸动漫化2.1 生成器采用 U 型主干靠跳跃连接保存人脸结构AnimeGAN2 的人脸动漫化能力不是靠某条事先写好的滤镜规则而是靠一套更偏结构保持的生成网络。常见实现里生成器主干是一个编码器-解码器结构编码器把真实照片逐级下采样压缩到低分辨率的隐空间解码器再从隐空间恢复出图像。如果只做普通的下采样卷积嘴角、发梢、眼镜框这类小尺度特征很容易被压没解码器再想凭空补回来就很难。因此在解码端会接入跳跃连接把编码阶段已经算好的浅层特征直接并进来让生成器不需要从零猜测人脸边缘。这个设计在推理端的直接表现是当人脸角度偏、刘海遮眼、戴眼镜的时候输出不至于塌成一张整齐但完全不像的模板脸。跳跃连接在小尺寸人脸上最容易看出差别——如果一张 256×256 的输入里人脸只占几十像素重绘后往往会出现局部重复纹理而保留跳跃连接的版本会携带更多原始边缘信息。从部署角度看生成器的主要计算开销集中在中间的低分辨率特征层所以不要一上来就调高输入分辨率先确认瓶颈是不是在卷积本身。AnimeGAN2 与第一代一个显著区别是少了很多伪影。常见说法是它把生成器里的归一化层做了调整同时去掉了会放大斑点噪声的结构这让脸部皮肤区域更干净。对做项目的人来说这个差异意味着生成图不需要额外做降噪后处理节省掉一整条去噪流水线。2.2 灰度对抗损失与颜色重建损失决定动漫感和不掉色训练一个能做人脸动漫化的人脸动漫化模型最怕两件事一是风格不够“漫”输出看起来只是原始图加了个对比度二是颜色乱飘脸是动漫了但整体偏绿或者偏紫。AnimeGAN2 把这两件事拆开处理这个拆法对工程选型很有参考价值。灰度对抗损失的做法是把生成图和真实动漫图都转成灰度再让判别器判断真假。RGB 空间里判别器太容易靠颜色分布区分图像比如真实天空的蓝和动画天空的蓝差异巨大但颜色会干扰它对线条和阴影的判断。把颜色信息去掉之后判别器只能依赖硬边、线条走向和明暗层次而这些正是二维动漫感的主要来源。这个思路后来被不少风格化项目单独拆出去用也是 AnimeGAN2 最值得关注的一个设计。颜色则交给颜色重建损失去约束目标是让输出图的整体色相靠近输入照片防止出现人脸偏色的 GAN 副作用。推理时不跑这两类损失但它们决定了模型权重的行为一个权重如果生成的脸细节全平、颜色也偏得厉害先怀疑权重选错而不是急着在解码端加饱和度。2.3 预训练风格权重怎么挑Hayao、Shinkai 还是 Paprika拿 AnimeGAN2 做人脸动漫化很少会从零训练。业内常规做法是直接使用预训练权重做推理不同权重对应不同的动画画风差异比想象中大得多。下表列出常见权重和对应的人像表现选型时建议以“正脸照片画面是否干净”为第一标准。权重名画风特征人脸动漫化建议Hayao_36高饱和阴影呈硬边大色块正面半身像效果好适合大多数头像场景Shinkai_19亮部偏亮空气感强线条更轻发色变化大的女孩头像保留细节更好Paprika_23平涂感强装饰线条多侧脸和大角度头部姿态不容易崩下载权重后不要直接接业务代码。先把同一张正面照分别用这三个权重各跑一遍对比三个输出的下颌线、眼型和发际线。我一般会准备 5 张固定测试图每次换权重都先把它们过一遍确认“像本人”的下限没被突破再谈风格切换功能。如果产品里需要风格选择最稳的做法不是训练自己的风格而是把多个官方权重都保留下来用参数切换推理时加载哪个文件。3. 本地跑通 AnimeGAN2 人脸动漫化推理代码与最小参数3.1 环境安装onnxruntime 与 opencv 的最小组合有不少教程默认用 TensorFlow 载入 AnimeGAN2 的 pb 模型实际做项目时我通常不这么选。TensorFlow 运行时体积大部署到 CPU 环境也慢更常见的做法是转好的 ONNX 权重配合 onnxruntime 推理单个依赖就能在桌面 CPU 上跑出可用速度。没有现成 ONNX 权重时可以从官方仓库拿到 pb 再转一次转换过程不在业务代码里先转好再引路径即可。python3 -m venv venv source venv/bin/activate pip install onnxruntime opencv-python-headless numpy这里的 opencv-python-headless 适合服务器环境不依赖 GUI 显示库。如果本地调试想看弹窗换成 opencv-python 也行。onnxruntime 不需要指定版本当前稳定版本都能加载常见的 AnimeGAN2 ONNX 权重。装完先验证是否能看到 session 的输入信息。3.2 完整推理脚本输入输出的形状与值域要先对齐AnimeGAN2 的 ONNX 权重大部分要求 256×256 方形输入输入张量形状是 (1,3,256,256)顺序为 NCHW输出形状与输入一致。比较容易踩坑的是像素值范围不同转换仓库出来的权重对输入范围定义不同有的期望 [-1,1]有的期望 [0,1]。下面的代码先按 [-1,1] 处理如果生成图变成紫色或全是灰块把归一化行里的减 1 去掉再试。import cv2 import numpy as np import onnxruntime as ort session ort.InferenceSession( AnimeGANv2_Hayao_36.onnx, providers[CPUExecutionProvider], ) input_name session.get_inputs()[0].name def stylize(image_bgr: np.ndarray, size: int 256) - np.ndarray: h, w image_bgr.shape[:2] # 先扩展成正方形避免直接缩放把脸型压扁 side max(h, w) canvas np.zeros((side, side, 3), dtypenp.uint8) canvas[:h, :w] image_bgr rgb cv2.cvtColor(canvas, cv2.COLOR_BGR2RGB) rgb cv2.resize(rgb, (size, size), interpolationcv2.INTER_AREA) tensor rgb.astype(np.float32) / 127.5 - 1.0 tensor np.transpose(tensor, (2, 0, 1))[None, ...] out session.run(None, {input_name: tensor})[0] out np.transpose(out[0], (1, 2, 0)) out (out 1.0) * 127.5 out np.clip(out, 0, 255).astype(np.uint8) out cv2.cvtColor(out, cv2.COLOR_RGB2BGR) result cv2.resize(out, (side, side), interpolationcv2.INTER_CUBIC) return result[:h, :w]逻辑说明先把任意尺寸图像统一补边成正方形防止非等比缩放把脸拉变形进入模型前转成 RGB、归一化到 [-1,1]然后按 NCHW 增加 batch 维度。推理结束后要反归一化回 [0,255]再转回 BGR 交给 OpenCV 保存。最后把结果截回原始宽高。参数说明size 默认 256是 ONNX 模型最常见的输入尺寸如果模型元信息显示的输入是其他值比如 192必须同步修改 size。interpolation 在前处理用 INTER_AREA 是为了降采样不出现摩尔纹后处理放大用 INTER_CUBIC 保留边缘锐度。跑完一张图后先看输出是不是 256×256再看脸型是否被拉伸这两点能排除一半的推理问题。3.3 人脸动漫化的正确姿势先检测人脸框再重绘贴回整张照片直接过 AnimeGAN2 也能出图但那不叫“人脸动漫化”更接近整图风格化。如果目标是把真人的脸变成动漫脸同时保留背景细节和原图分辨率正确流程是先做人脸检测把脸部区域裁出来动漫化最后贴回原图。这个步骤决定了业务落地时的质感。face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) def anime_face_pipeline(bgr: np.ndarray) - np.ndarray: gray cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors5, minSize(96, 96) ) if len(faces) 0: return stylize(bgr) x, y, w, h max(faces, keylambda f: f[2] * f[3]) margin int(min(w, h) * 0.15) x0 max(x - margin, 0) y0 max(y - margin, 0) x1 min(x w margin, bgr.shape[1]) y1 min(y h margin, bgr.shape[0]) face bgr[y0:y1, x0:x1] stylized_face stylize(face) result bgr.copy() result[y0:y1, x0:x1] stylized_face return result逻辑说明先用 OpenCV 的 Haar 级联检测人脸框选面积最大的框作为主脸并按人脸宽高的 15% 向外扩展给额头和下巴留出绘制空间。接着把脸部区域送入 stylize因为脸部区域已经接近方形被拉伸的风险大大降低。最后把动漫化结果直接写回原图坐标。参数说明scaleFactor 是每轮检测的缩放步长越大检测越快但容易漏脸1.1 在速度和召回之间比较均衡minNeighbors 控制误检数值越大越严格单人照片用 5 可靠minSize 过滤掉小目标避免远处背景里的花坛被当成脸。注意 Haar 对侧脸和大角度抬头效果不好有这类输入时换成 mediapipe 的人脸检测器会稳很多。这段流程里把动漫化脸直接贴回原图会有较明显的拼接边界第四章会在贴回之前做颜色和结构融合。4. 让人脸动漫化更像本人调节 AnimeGAN2 输出的三个参数位4.1 alpha 混合控制风格强度而不是继续调饱和度很多人在 AnimeGAN2 输出图上提高饱和度、拉对比度结果动漫感没变人脸反而过度锐化。正确做法是直接在生成图和原图之间做 alpha 混合让“动漫化程度”成为一个连续可调参数。这个参数不是模型参数但它在产品里几乎取代了所有滤镜类调节。alpha 0.7 face_out cv2.addWeighted(stylized_face, alpha, original_face, 1 - alpha, 0)逻辑说明stylized_face 是 AnimeGAN2 输出的动漫脸original_face 是同尺寸的原始脸。addWeighted 按 alpha 比例把两者线性混合alpha 越高动漫感越强。由于两张图都来自同一个脸部区域尺寸一致不需要额外对齐。参数说明alpha 推荐 0.5 到 0.8低于 0.4 时动漫特征几乎看不出来高于 0.9 时 AnimeGAN2 产生的平坦阴影会盖掉真实皮肤质感人脸反而显得假。对直播或视频场景alpha 还可以做成随时间缓慢变化的动效比直接切换模型权重平滑很多。4.2 Lab 空间只混合亮度保留原图颜色信息alpha 混合是一个全局操作它同时混合了结构和颜色结果经常是动漫线条和真实肤色各占一半。若想保留原图准确的颜色同时保留动漫的线条阴影可以在 Lab 空间里只混合 L 通道ab 通道完全取原图的颜色。这个技巧对肤色还原非常有效。def blend_in_lab(original_bgr, stylized_bgr, l_strength0.75): lab_o cv2.cvtColor(original_bgr, cv2.COLOR_BGR2LAB) lab_s cv2.cvtColor(stylized_bgr, cv2.COLOR_BGR2LAB) blended_l ( lab_s[..., 0].astype(np.float32) * l_strength lab_o[..., 0].astype(np.float32) * (1 - l_strength) ) lab_o[..., 0] np.clip(blended_l, 0, 255).astype(np.uint8) return cv2.cvtColor(lab_o, cv2.COLOR_LAB2BGR)逻辑说明Lab 空间的 L 通道描述明暗a 和 b 通道描述红绿、黄蓝方向。这里把动漫图的高频明暗结构按 l_strength 混入原图同时原图的 a、b 颜色通道保持不动等效于“用动漫线条重画但用本人肤色填色”。参数说明l_strength 推荐 0.6 到 0.85太大会让脸发灰太小则动漫轮廓线不够明显。这个方法比 alpha 混合更适合女性头像和儿童照片因为肤色漂移是这类场景最常见的投诉点。4.3 用关键点遮罩把五官放回原图位置AnimeGAN2 生成的动漫脸最容易破坏的地方是眼睛和牙齿尤其是虹膜高光经常被压成色块。要解决这个问题不能只靠全局混合因为全局混合会把动漫眼线也一起淡化。更好的做法是生成一个人脸关键点遮罩把原始眼睛区域以无缝克隆的方式放回动漫脸上。def keep_eyes(original_face, stylized_face, left_eye, right_eye, rx, ry): mask np.zeros(original_face.shape[:2], dtypenp.uint8) for center in (left_eye, right_eye): cv2.ellipse(mask, center, (rx, ry), 0, 0, 360, 255, -1) center (mask.shape[1] // 2, mask.shape[0] // 2) return cv2.seamlessClone( original_face, stylized_face, mask, center, cv2.NORMAL_CLONE )逻辑说明先按两眼中心构建两个椭圆遮罩范围只覆盖眼睛区域然后用 OpenCV 的 seamlessClone 把原图眼睛像素自然融合到动漫脸上。NORMAL_CLONE 模式会计算边界处的颜色变化梯度让贴入区域和周边肤色平滑衔接避免出现明显的圆形裁剪痕迹。参数说明rx 取眼宽的 0.55 到 0.6 倍ry 取眼高的 0.4 到 0.5 倍数值偏大容易把动漫眼线也覆盖掉偏小则高光保留不住。seamlessClone 要求原图和目标图尺寸完全一致调用前先确认两张脸图都来自同一个检测框裁剪。按同样的思路可以继续对牙齿做矩形 mask 回贴这在面对开口笑照片时能明显提升自然度。下面这张参数表可以贴在项目配置里方便不同场景快速切换参数位推荐区间主要作用alpha 全局混合0.5 - 0.8控制整体动漫化强度l_strength 亮度混合0.6 - 0.85保留原图肤色只借动漫轮廓eye mask 回贴0.55 / 0.45 倍防止虹膜高光和眼线被压平5. 用 AnimeGAN2 做批量人脸动漫化时的效率技巧5.1 复用会话配置线程数与图优化级别批量处理大量照片时最容易犯的错误是在循环里反复创建 InferenceSession。这个对象的初始化包含模型加载和图优化开销不小。正确做法是程序启动时创建一个全局 session循环里只调用 session.run。sess_options ort.SessionOptions() sess_options.intra_op_num_threads 4 sess_options.execution_mode ort.ExecutionMode.ORT_SEQUENTIAL sess_options.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL session ort.InferenceSession( AnimeGANv2_Hayao_36.onnx, sess_options, providers[CPUExecutionProvider], )逻辑说明intra_op_num_threads 设置为 4 在常见桌面 CPU 上能稳定缩短单张推理耗时graph_optimization_level 设为 ORT_ENABLE_ALL 会让 onnxruntime 对计算图做常量和算子融合不改变结果但能减少部分冗余计算。参数说明线程数不建议超过物理核心数设为 8 或 16 不会带来成倍提升反而会因为线程切换增加耗时。如果使用 GPU把 providers 改成 CUDAExecutionProvider同时保持 session 复用的逻辑不变。5.2 用自检样本集替代肉眼随机看图批量工程还需要一套可以回归的验证方法。我会固定 10 张测试图涵盖正脸、侧脸、戴眼镜、儿童、较暗肤色五类每次换权重或调参数后都重新跑一遍。判断标准是眼睛是否可分辨发际线是否出现锯齿形断裂肤色是否偏青或偏紫。数值层面看颜色偏移比较直接把 AnimeGAN2 输出转到 Lab 空间a 通道均值超过 20 或 b 通道均值超过 25 就说明这个权重对当前输入存在明显色偏需要调整颜色保留参数。5.3 视频流场景下的增量复用如果是摄像头取流或视频帧处理不需要每帧都做人脸检测和动漫化。常见技巧是计算当前帧与上一帧的灰度差值低于阈值时直接复用上一帧检测到的人脸框和动漫化结果只有当画面变化明显时才重新推理。这样能省掉大量重复计算尤其适合直播场景。实现时把上一帧的脸框和输出缓存下来在下一帧输入时先比较整体亮度差异差异小于预设值则直接返回缓存结果。阈值需要根据实际输入范围标定uint8 图像一般用 3 到 5归一化后的 float 图像用 0.01 到 0.03没有固定值以画面不出现明显卡顿感为准。把这个缓存机制和固定测试图回归放在一起动漫化工具的维护成本会低很多。本文还有配套的精品资源点击获取