简介这是一套借助OpenCV与深度学习实现图像自动着色的完整项目包面向具备一定编程基础、希望上手计算机视觉和神经网络实践的开发者。资源共9个文件包含C工程源码.cpp、.sln、.vcxproj、用于效果验证的示例图片jpg以及训练好的caffemodel模型与prototxt配置压缩包整体约115.61MB可直接在OpenCV 4以上环境中运行。当前已有710人下载学习。通过这套代码读者不仅能够快速掌握DNN模块加载预训练模型、对灰度图像进行着色推理的完整流程还能结合示例图片理解图像预处理、色彩空间转换及模型输出后处理等关键步骤为后续自建或微调着色模型奠定扎实基础。1. 图像着色没那么玄先用 OpenCV DNN 把现成 Caffe 模型跑通我最早听“深度学习图像着色”时以为是训练一个巨大的卷积神经网络喂上万张彩色图才能出结果。后来拿到这份 ImageColoring 工程才发现OpenCV 4 自带 DNN 模块加上一个已经训练好的 Caffe 模型可以直接对黑白照片做前向推理不需要安装 Caffe也不需要碰训练流程。项目解压后就是一个 Visual Studio C 工程里面有 main.cpp、模型文件和两张测试图把 OpenCV 4 配好就能跑起来。它适合两类人一类是刚入门深度学习但不想被训练劝退的人另一类是在做 OpenCV 图像处理项目、想把别人训练好的模型快速嵌进 Windows 工程里的开发者。版本上先记住一个硬门槛OpenCV 4 以上否则后续 API 能把你磨到怀疑人生。2. 环境与工程打开OpenCV 4 的 DNN 模块、VS 配置和 Caffe 模型文件拿到 zip 后先别急着双击运行我心里先过了一遍这是一个 VS C 工程不是 Python 脚本。很多人卡在第一步就是因为习惯性打开命令行执行 pip install opencv-python然后回 VS 里还是找不到 opencv2/opencv.hpp。这个包要的是 OpenCV 的 C 库不是 Python 的 cv2 模块。2.1 为什么一定是 OpenCV 4.x DNNOpenCV 里处理深度学习的模块叫 DNNDeep Neural Networks。它不是一个独立框架而是一套推理接口让 OpenCV 能直接读取 Caffe 训练好的模型参数。这个项目的两个核心文件colorization_deploy_v2.prototxt是网络结构文本colorization_release_v2.caffemodel是权重二进制正好是 Caffe 最常见的部署组合。DNN 模块不需要你再装一次 Caffe只要 OpenCV 带 dnn 组件就行。为什么说 OpenCV 4 以上OpenCV 3.x 时期 DNN 模块还在频繁改 API有些版本把 dnn 做成独立模块需要额外初始化还有些版本对blobFromImage的通道顺序处理不一致。OpenCV 4 把readNetFromCaffe、readNetFromTensorFlow等函数统一进cv::dnn命名空间常见用法基本固定。当下用 VS2022 的话建议直接下载 OpenCV 4.5.5、4.6.0 或 4.8.0 的 Windows 包。这三个版本我都配过包含目录是include库目录是x64\vc16\libVS2022 能直接链接不会再碰到 vc14/vc15 时代那种运行库冲突。可以用 OpenCV 自带命令确认版本C:\opencv\build\x64\vc16\bin\opencv_version.exe输出版本号后如果小于 4.0建议直接换盘。如果已经是 4.x再看下一步。2.2 Visual Studio 项目配置与链接库清单打开color.sln后我一般先把解决方案平台切到 x64然后确认三样东西包含目录、库目录、附加依赖项。这个工程是 C 项目OpenCV 的 Windows 发行包默认只提供 x64 的库用 Win32 平台编译大概率报“找不到 opencv_world460.lib”。先在命令行设置环境变量之后 VS 里可以用$(OpenCV_DIR)引用setx OpenCV_DIR D:\opencv\buildsetx设置完要重启 VS否则环境变量不会进入当前 IDE 会话。重新打开后在项目属性里按下表填写配置项填写内容VC目录 - 包含目录$(OpenCV_DIR)\includeVC目录 - 库目录$(OpenCV_DIR)\x64\vc16\lib链接器 - 输入 - 附加依赖项opencv_world460.lib如果你装的是 4.8.0把opencv_world460.lib改成opencv_world480.lib版本号对不上链接器会直接报错。Debug 配置下需要opencv_world460d.lib这种带 d 后缀的库但发行包里这个库默认和 Release 匹配所以最简单的做法是直接把配置切到 Release。不要小看这一点我见过有人在这里卡了两个小时原因只是配置明明是 x64附加依赖项却填了opencv_world450.lib而实际安装的版本是 4.6.0。顺便说一句这两个模型文件加起来不大OpenCV DNN 默认用 CPU 推理不用为这个 demo 装 CUDA。如果以后想换 GPUOpenCV 4 提供了net.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA)和net.setPreferableTarget(cv::dnn::DNN_TARGET_CUDA)但现在不碰这些也能跑通。2.3 color.sln 里到底有哪些文件把ImageColoring.zip里的文件清点一遍整个工程结构其实非常短小列个表方便对照文件类型作用color.slnVS 解决方案双击入口负责加载项目和配置color.vcxproj工程文件定义编译选项、源文件列表color.vcxproj.filters筛选器决定 VS 文件树里的分组color.vcxproj.user用户配置记录本机路径与调试工作目录main.cpp源码全部推理与后处理逻辑colorization_deploy_v2.prototxt网络结构描述 Caffe 模型每一层的输入输出colorization_release_v2.caffemodel模型权重CNN 训练出的参数zhu.jpg / test.jpg测试图验证着色效果的输入样例最容易被忽略的是color.vcxproj.user。这个文件通常不进源码管理但解压后它带着作者本机的路径信息。用记事本打开看一眼里面可能写着LocalDebuggerWorkingDirectory也可能写着 OpenCV 的绝对路径。如果它指向的是D:\opencv\build而你的 OpenCV 装在C:\tools\opencv请务必改掉。调试时工作目录我一般直接设成$(ProjectDir)因为main.cpp里读模型和图片用的几乎都是相对路径。工作目录不对时表现通常是编译通过但运行时弹文件找不到而不是源码报错。prototxt 和 caffemodel 的关系可以理解为“骨架”和“肌肉”。prototxt 是文本告诉 DNN 网络有哪些层、每层卷积核大小、输入尺寸多少caffemodel 是二进制按同样的层名把训练出来的权重填进去。OpenCV 的readNetFromCaffe必须两个参数配套模型文件损坏或层名对不上网络加载后net.empty()为真后面的 forward 就没法执行。如果怀疑模型文件不配套可以在 main 开头临时加两行探测cv::dnn::Net net cv::dnn::readNetFromCaffe( colorization_deploy_v2.prototxt, colorization_release_v2.caffemodel); if (!net.empty()) std::cout model loaded std::endl;net.empty()是 NET 对象最常见的健康检查方式放在任何推理代码之前能省掉大量无意义的调试时间。3. 深入理解模型与色彩空间为什么图像着色要改到 Lab 通道很多人看到“着色”两个字下意识认为深度学习是在给黑白像素“涂颜料”。实际做一遍就知道网络几乎不可能直接预测 RGB 六个分量里的精确值它做的是在亮度不变的前提下预测两个色度通道。这个空间就是 Lab。3.1 着色不是“填颜色”而是 CNN 在 Lab 空间里预测 a/b 通道RGB 空间里 R、G、B 三个通道耦合得很紧某块区域变亮三个通道会一起变网络很难分清“这只猫的轮廓”和“这只猫的颜色”。Lab 空间把亮度和颜色分开L 通道只管明暗a 通道表示绿到红的色度b 通道表示蓝到黄的色度。模型输入一张灰度图时其实就是在一张只有 L 通道有值的图上干活输出则是两个代表色度的通道。解释成 OpenCV 操作就是先把 BGR 图转到 Lab拆出 L保留它模型负责预测 a 和 b最后三个通道合并再转回 BGR。这也是整套代码最核心的流程。这个模型的主体是卷积神经网络也就是经常听说的 CNN。它先用卷积层提取边缘、纹理、物体语义等特征再把这些特征映射到颜色空间。模型最后输出的并不是某个绝对的 RGB 值而是一个概率化的估计所以对肤色、天空这些容易不确定的区域结果会偏灰偏淡。看到这种效果先别急着骂模型它只是在统计上选择了更保守的颜色。3.2 输入输出的数值范围与预处理细节这个 Caffe 模型要求的输入尺寸是 224×224。如果你直接拿原图 1920×1080 塞进去网络层会跟你翻脸常见报错是输入维度不匹配。所以预处理固定四步resize 到 224×224转成浮点从 0-255 缩到 0-1从 BGR 转 Lab 并单独取出 L 通道。下面是工程里常见的一段预处理写法cv::Mat bgr cv::imread(test.jpg); // OpenCV 默认按 BGR 读入 cv::Mat lab; cv::cvtColor(bgr, lab, cv::COLOR_BGR2Lab); // BGR - Lab std::vectorcv::Mat chs(3); cv::split(lab, chs); // 拆成 L, a, b 三个单通道 cv::Mat L chs[0]; // 只取亮度 L.convertTo(L, CV_32F, 1.0 / 255.0); // 归一化到 [0,1] cv::resize(L, L, cv::Size(224, 224), 0, 0, cv::INTER_AREA);这段代码的逻辑和参数逐个看COLOR_BGR2Lab是 OpenCV 的颜色转换常量不要随手写成COLOR_RGB2Lab否则后面颜色全乱。split返回三个 Mat顺序就是 L、a、b这是 OpenCV Lab 空间的固定顺序。convertTo的第三个参数是缩放系数1.0/255.0把原来是 0-255 的 L 压到 0-1。resize最后用INTER_AREA因为这是缩小图片区域插值算出来的边缘更干净如果是放大我会换回INTER_LINEAR。还有一个细节如果后续ab输出值域很奇怪先检查 L 通道是不是被错误地再次缩放。这个模型很多版本在内部用固定的均值或比例你只要保证 L 进网络前范围和训练时一致即可不要连环传参。常见诡异偏色多半是这里多乘了一个1/255。3.3 prototxt 和 caffemodel 配对与最后一层权重复用这个模型来源于图像着色领域一个很知名的方案把颜色量化成 313 个常见色值模型先输出 313 个概率最后再映射成 a/b 两个通道。很多公开的部署代码里专门准备了一个pts_in_hull.npy文件里面存的就是这 313 个色值中心运行时要把它们赋值给网络最后一层class8_ab。这份资源清单里虽然没列出.npy文件但你在别处下载同款模型时很可能会遇到。判断方法很简单跑一次 forward看输出层通道数。如果输出是 2 通道说明权重已经被处理过如果输出是 313 通道那就是缺少最后一步映射。C 里临时注入权重常见做法是这样// 仅当你的 caffemodel 输出 313 个通道时需要 cv::Mat pts loadPtsInHull(); // 自定义函数得到 2x313 的 float 矩阵 pts pts.reshape(1, std::vectorint{2, 313, 1, 1}); // 改成 2x313x1x1 net.getLayer(net.getLayerId(class8_ab))-blobs std::vectorcv::Mat{pts};这段代码里getLayerId是按名字找层层名必须是 prototxt 里真实存在的名字blobs是 OpenCV DNN 层对象里权重矩阵的容器把 313 个中心塞进去后网络最后一层就变成了从 313 分类结果到 ab 色度值的线性映射。如果少了这步输出图经常是一片均匀的棕黄色看起来模型“确实跑了”实际是在给你看平均值。4. 把 main.cpp 跑通从加载模型到输出彩色图这一章进入正题。我这里给的核心流程等价于项目里main.cpp要做的全部工作加载模型、读图、预处理、forward、后处理、保存。4.1 先确认工作目录和模型文件路径先把模型文件和工作目录这件事说死。用 VS 调试时默认工作目录可能是解决方案根目录\Debug或Release而main.cpp里读模型用的可能是相对路径。如果相对路径写的是colorization_deploy_v2.prototxt那工作目录就必须是工程根目录。一个很务实的检查方式先看一眼color.vcxproj.user里的LocalDebuggerWorkingDirectory。模型加载部分建议放在 main 的最前面cv::dnn::Net net cv::dnn::readNetFromCaffe( colorization_deploy_v2.prototxt, colorization_release_v2.caffemodel); if (net.empty()) { std::cerr readNetFromCaffe failed: check path and workdir std::endl; return -1; }readNetFromCaffe成功返回一个cv::dnn::Net对象失败时对象为空此时调用setInput会直接出现非法内存访问。所以net.empty()这个判断一定要保留。参数两个第一个是网络结构文件第二个是权重文件顺序不能反。很多新手把 caffemodel 放在前面结果是结构文件解析失败报错信息还特别晦涩。4.2 推理流程读图、转 Lab、分离 L 通道、构造 Blob、forward看zhu.jpg的时候它不是直接作为网络输入而是要被拆成 L 通道。下面是完整的一段推理代码cv::Mat img cv::imread(test.jpg, cv::IMREAD_COLOR); if (img.empty()) { std::cerr cannot load test.jpg std::endl; return -1; } cv::Mat lab; cv::cvtColor(img, lab, cv::COLOR_BGR2Lab); // 转 Lab std::vectorcv::Mat chs; cv::split(lab, chs); // L, a, b cv::Mat L chs[0]; cv::Mat L32F; L.convertTo(L32F, CV_32F, 1.0 / 255.0); // 范围 [0,1] cv::resize(L32F, L32F, cv::Size(224, 224)); // 缩放到模型输入尺寸 cv::Mat blob cv::dnn::blobFromImage(L32F); // 变成 1x1x224x224 的 blob net.setInput(blob, data_l); // 输入层名和 prototxt 一致 cv::Mat ab net.forward(class8_ab); // 输出层名和 prototxt 一致这里每个函数的用途说清楚。imread第二个参数IMREAD_COLOR确保读进来是三通道 BGR不要用IMREAD_GRAYSCALE否则后续cvtColor会得到奇怪的 Lab 数据。cvtColor使用COLOR_BGR2Lab把 BGR 转为 Lab。split拆出的chs[0]是 L 通道网络只需要 L 通道。convertTo把无符号 8 位转成 32 位浮点同时缩放。blobFromImage在这里没有指定均值和缩放系数因为前面已经处理过如果你想把缩放放到 blob 里可以写成blobFromImage(L32F, 1.0, cv::Size(224, 224))效果相同。setInput的第二个参数data_l要跟 prototxt 里input的名字一致当前模型多数时候就叫这个名字。forward参数我填了class8_ab如果层名不对先用net.getLayerNames()打印出来确认。4.3 后处理从 224×224 的 ab 重建 Lab 并转回 BGR模型输出ab是四维 Mat形状是1×2×224×224。OpenCV 不能直接拿它和原来的 L 通道 merge需要先把两个通道拎出来再放大回原图尺寸。int h 224, w 224; cv::Mat aMat(h, w, CV_32F, ab.ptrfloat(0, 0)); // 第1个通道 cv::Mat bMat(h, w, CV_32F, ab.ptrfloat(0, 1)); // 第2个通道 cv::Mat aFull, bFull; cv::resize(aMat, aFull, img.size()); cv::resize(bMat, bFull, img.size()); std::vectorcv::Mat merged { L, aFull, bFull }; cv::Mat labResult, bgrResult; cv::merge(merged, labResult); cv::cvtColor(labResult, bgrResult, cv::COLOR_Lab2BGR); cv::imshow(result, bgrResult); cv::waitKey(0); cv::imwrite(result.jpg, bgrResult);这段代码里ab.ptrfloat(0, 0)是低级指针操作因为ab是 NCHW 布局第一个 0 表示第 0 张图第二个 0 表示第 0 个通道返回的指针指向这段连续数据。我用Mat(h, w, CV_32F, ptr)直接把它解释成单通道 Mat没有复制数据。之后resize到img.size()保证和原始 L 通道尺寸一致。merge时通道顺序不能乱第一个必须还是 L第二个是 a第三个是 b。最后Lab2BGR转回可显示的 BGR 空间。有一个很常见的坑模型输出的 ab 值域如果已经是 0-255而 OpenCV 的 Lab 空间里 a/b 通常被认为在 -128 到 127这时候不调整直接 merge出来的颜色会严重发青。一种稳妥做法是先minMaxLoc看ab的 min/maxdouble amin, amax; cv::minMaxLoc(aMat, amin, amax); std::cout a channel range: amin ~ amax std::endl;如果发现范围是 0-255在 merge 前给aFull和bFull每个像素减 128通常能恢复正确观感。这一步在不少 C 示例里被省略所以很多新手复现出来偏色不是模型问题是后处理值域没对齐。5. 避坑与常见问题灰度图跑不出颜色时按顺序排这五个点我复现这个工程时踩过的坑比想象中多而且坑点不集中在结论里集中在各种细节。下面按“现象→原因→解决”整理五个高频问题。5.1 编译与加载模型失败路径、平台、版本第一条打开color.sln直接编译报错“无法打开包含文件 opencv2/opencv.hpp”。现象VS 里按 F7错误列表第一行就是找不到 OpenCV 头文件。原因包含目录没有指向$(OpenCV_DIR)\include或者平台是 Win32。OpenCV Windows 发行包主要面向 x64没有配套的 x86 库目录。解决活动解决方案平台切到 x64在 VC 目录里填入包含目录和库目录。如果找不到地方直接打开color.vcxproj搜索AdditionalIncludeDirectories确认有没有写死成作者本机的路径写死的话改掉。第二条编译通过运行时报“无法打开文件 colorization_release_v2.caffemodel”或者readNetFromCaffe failed。现象程序启动后 Net 对象是空控制台没有任何推理输出。原因调试工作目录不是工程根目录模型文件和main.cpp里的相对路径对不上。解决在 VS 菜单中打开“项目 - 属性 - 调试”把“工作目录”改成$(ProjectDir)。再检查color.vcxproj.user里有没有残留的本地绝对路径。如果不想依赖相对路径把两个模型文件的绝对路径写进readNetFromCaffe的第一个和第二个参数临时验证很省事。但不建议长久保留代码到了别人机器上依旧会炸。5.2 输出颜色异常通道顺序、313 聚类、Lab 值域第三条程序顺利运行但输出图是一整片棕黄色或者颜色均匀得没有细节。现象目标图能显示但看起来像给整张图抹了一层黄土色或暗红色。原因模型最后一层没有注入 313 个颜色聚类中心。模型直接输出的是 313 个颜色类别的概率而不是两个色度通道如果 caffemodel 或 main.cpp 里没有处理网络就把平均值当成结果返回了。解决先检查ab的通道数。在forward之后打印ab.size[1]如果等于 313就意味着还要做class8_ab层的权重重映射参照 3.3 节的做法。如果等于 2则继续检查 ab 通道值域是否正确。第四条输出图严重偏绿、偏紫像是通道被交换过。现象草地变成紫色天空变成橙色颜色局部看着对整体色相全部偏移。原因a/b 两个通道顺序写反或者把COLOR_Lab2BGR写成了COLOR_Lab2RGB。OpenCV 的Lab2BGR和Lab2RGB最终结果基本相同但你 merge 之前的通道顺序必须和训练时一致。解决把 merge 时的{L, aFull, bFull}顺序检查一遍再用原图做一次 Lab 转换把原图的 a/b 通道和预测的 a/b 通道分别保存成图片肉眼对比一下。如果预测的 a 通道看起来像 b 通道就换过来。第五条换了一张截图结果彩色噪点特别重像是面条状条纹。现象人脸、天空这类平滑区域出现大量色斑像 JPEG 压缩过度。原因局部区域颜色不确定性高模型输出概率分散直接取 argmax 或加权期望会产生噪声另外如果输入分辨率太小resize 到 224 后丢失细节。解决给ab加一个轻量高斯模糊再放大回原图用cv::GaussianBlur(aMat, aMat, Size(0, 0), 1.0)。这只是后处理缓兵之计但效果立竿见影。如果想要更干净的结果可以考虑在 224×224 上不做多余锐化直接把 ab 通道用双线性插值放大越重的后处理越容易把噪声放大。6. 换图复现时的三个进阶习惯改输入尺寸、验输出和保存结果当你把zhu.jpg和test.jpg都跑出颜色之后就该换自己的黑白图试。这里我给你三个我自己的习惯专治“换图就翻车”。第一个习惯是把图片路径和输出路径参数化。不要每次改源码里的文件名直接在 main 里读argv[1]和argv[2]调试时在color.vcxproj.user里写好命令行参数。这样验证一大堆图片时只要执行color.exe oldphoto.jpg out.jpg就行。第二个习惯是不要只依赖imshow判断效果。高分辨率显示器有色彩管理窗口尺寸也会影响观察我会强制imwrite到 PNG 文件再打开。第三个习惯是每次跑通新图先把L、aFull、bFull三张单通道图各自存一份。这个肉眼看不出来但能快速定位是模型没预测出结构还是颜色转换时通道错位。在 main 里加一个很小的范围检查函数能省掉很多次盲调void checkChannel(const cv::Mat m, const char* name) { double mn, mx; cv::minMaxLoc(m, mn, mx); std::cout name range: mn ~ mx std::endl; }参数m是单通道 Matname是打印用的标签minMaxLoc返回最小值和最大值。把它插在aFull、bFull生成后调用你会立刻知道 ab 值域是否在合理区间。从那次之后我每次拿到新的 OpenCV DNN 工程都会强制走一遍这个流程先看 prototxt 输入输出再跑模型带的原图然后才谈换自己的图。图像着色听起来玄但真正把 Lab 空间、Caffe 模型和 OpenCV 的通道顺序理顺后它就变成了一个普通的图像处理 pipeline。希望这些排障经验能帮到你。本文还有配套的精品资源点击获取