简介基于深度学习的图像修复Python实现与项目文档采用卷积神经网络与对抗式训练策略面向毕业设计、课程设计及机器学习实战解决图像划痕修复、噪点消除与局部遮挡还原等需求。项目交付内容包括完整算法源码、技术文档、环境配置说明、示例数据集与测试案例并提供简单与复杂两套实现方便不同水平的开发者由浅入深复现。压缩包共18个文件、5.61MB主要类型为Python源码、效果对比图png/jpg与Markdown项目说明其中图片用于直观核对修复效果文档与备份文件便于分步搭建环境和回溯修改。该项目为导师认可并获99分的优秀成果程序结构完整、运行稳定初学者也能顺利部署Python3.7环境并完成推理。已有85人浏览学习适合计算机专业学生与图像处理爱好者参考。1. 图像修复不是填洞这个 Python 项目到底要解决什么老照片划痕、遮挡物移除、破损扫描件复原这类任务在深度学习进入主流之前靠的是 OpenCV 的 inpaint 算法——但它的本质是边缘扩散遇到大面积缺失或复杂纹理就会把语义猜错。基于深度学习的图像修复系统是把「猜缺失区域」变成「学习一张图如何生成」训练一个生成器去理解图像上下文再通过判别器反复打磨让补出来的部分在纹理和语义上都像真的。这个项目适合两类人一类是做图像预处理、数据清洗的工程师想把采集数据里的遮挡和噪点自动去掉另一类是刚入门 GAN 的算法工程师需要一个能跑通完整训练闭环的 Python 工程练手。这篇笔记我会把退化模型、网络结构、训练参数和文档组织一起讲透争取你照着复现出来的第一版就不至于翻车。2. 从退化模型到修复目标先搞懂图像修复在学习什么2.1 图像修复的两条路线生成式补全与重建式去噪为什么我们选 GAN图像修复在工程上被分成两个子任务一是「重建」二是「生成」。常见做法是用卷积神经网络做重建输入带缺失区域的图输出完整图用 L1 或 L2 损失监督网络学会把已知像素的信息映射到缺失位置。这种路线训练稳定、收敛快但缺点是结果会偏平滑——就像用均值填补空洞纹理是糊的。另一条路线是生成式典型代表是 GAN让判别器学会区分「真实完整图」和「修复后的图」生成器为了骗过判别器会努力补出高频细节和真实纹理。我在实际项目里倾向用「重建为主、对抗为辅」的混合结构生成器用 U-Net 或带空洞卷积的残差网络损失函数把 L1、感知损失和 GAN 损失按权重叠起来。这样既保留重建路线的位置准确性又借用生成路线的纹理逼真度。很多新手一上来就只跑对抗损失结果训练几百轮还在出棋盘格伪影这属于黑匣子没拆开——GAN 的判别器太强或太弱都会让训练崩掉必须靠损失权重和判别器更新节奏一起控制。2.2 退化模型怎么写mask 生成、噪声注入与训练数据对做有监督修复第一件事是制造「退化图-原图」对。退化模型要模拟两类规则遮挡比如涂鸦、黑块、验证码干扰线和不规则缺失划痕、破损、物体移除。规则遮挡直接用矩形或椭圆 mask不规则缺失可以用随机游走或从真实分割 mask 里采样。我一般会用 40% 的小洞加 30% 的细长条纹再加 30% 的大块区域保证训练时能看到不同尺度的上下文。下面是生成不规则 mask 的 Python 代码基于随机游走生成连通区域import numpy as np import cv2 def random_walk_mask(shape, num_components5, max_len80): 生成不规则缺失区域 mask值 1 表示需要修复 mask np.zeros(shape[:2], dtypenp.uint8) h, w shape[:2] for _ in range(num_components): x, y np.random.randint(0, w), np.random.randint(0, h) for _ in range(np.random.randint(20, max_len)): mask[y, x] 1 # 随机游走每一步有 70% 沿当前方向30% 随机转向 direction np.random.choice([up, down, left, right], p[0.175, 0.175, 0.325, 0.325]) if direction up: y max(0, y - 1) elif direction down: y min(h - 1, y 1) elif direction left: x max(0, x - 1) else: x min(w - 1, x 1) if mask[y, x] 1: break # 避免原地反复画同一个像素 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) mask cv2.dilate(mask, kernel, iterations2) # 膨胀让区域更连续 return mask mask random_walk_mask((256, 256))逻辑说明用np.random.randint随机选起点每一步修改坐标并把 mask 对应位置置 1。方向概率里上下各 17.5%、左右各 32.5%因为图像是宽比高长水平游走更能制造长条形划痕。break防止同一像素被反复写入导致死循环。最后用 5x5 椭圆核对 mask 做膨胀目的是把细线变成有宽度的缺失块——真实划痕不会是单像素宽度。参数说明num_components控制缺失块数量越多训练难度越大max_len控制单个游走长度值越大缺失区域越大。训练初期建议num_components3、max_len50先让模型学会小洞补全之后再逐步加大难度。退化图可以直接用原图乘以(1-mask)再叠加高斯噪声noise np.random.normal(0, 15, img.shape).astype(np.float32) degraded img * (1 - mask[..., None]) noise * (1 - mask[..., None]) degraded np.clip(degraded, 0, 255).astype(np.uint8)噪声强度用 15 的方差模拟传感器噪声并且只在已知区域加噪——修复任务的输入本来就是「已知区域有噪声、缺失区域全黑」这样更贴近真实扫描件。如果你做的是物体移除而不是划痕修复可以省略噪声注入只保留 mask 覆盖。3. 搭建 Python 修复系统模型结构、损失函数与训练循环3.1 生成器与判别器的 PyTorch 实现要点生成器我沿用 U-Net 骨架编码器用 ResNet-50 的前几层预训练权重解码器用最近邻上采样加跳跃连接。为什么不用转置卷积因为转置卷积容易产生棋盘格伪影尤其在修复图像的平滑区域最近邻上采样配合 3x3 卷积能明显减少这种问题。下面是核心结构代码import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, in_ch, out_ch, stride1): super().__init__() self.block nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, stride, 1, biasFalse), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.block(x) class Generator(nn.Module): def __init__(self, in_ch3): super().__init__() # 编码器每层输出通道翻倍特征图尺寸减半 self.enc1 ConvBlock(in_ch, 64, stride2) self.enc2 ConvBlock(64, 128, stride2) self.enc3 ConvBlock(128, 256, stride2) self.enc4 ConvBlock(256, 512, stride2) # 解码器每层先上采样再卷积通道减半 self.up3 nn.ConvTranspose2d(512, 256, 2, 2) self.dec3 ConvBlock(512, 256) self.up2 nn.ConvTranspose2d(256, 128, 2, 2) self.dec2 ConvBlock(256, 128) self.up1 nn.ConvTranspose2d(128, 64, 2, 2) self.dec1 ConvBlock(128, 64) self.out nn.Conv2d(64, 3, 3, 1, 1) def forward(self, x): e1 self.enc1(x) e2 self.enc2(e1) e3 self.enc3(e2) e4 self.enc4(e3) d3 self.dec3(torch.cat([self.up3(e4), e3], dim1)) d2 self.dec2(torch.cat([self.up2(d3), e2], dim1)) d1 self.dec1(torch.cat([self.up1(d2), e1], dim1)) return torch.tanh(self.out(d1))逻辑说明编码器用的是 stride2 卷积做下采样避免 maxpool 丢失位置信息解码器用ConvTranspose2d做 2 倍上采样但只负责放大尺寸真正的特征融合交给后面的ConvBlock。跳跃连接用torch.cat把编码器特征和解码器特征拼在通道维上——修复任务里缺失区域周边的上下文极其重要跳跃连接能让解码器直接看到高分辨率的边缘信息而不是只靠高层语义盲猜。参数说明输入输出都是 3 通道 RGB范围在tanh的 -1 到 1。如果你处理的是灰度图把首尾的 3 改成 1 即可。in_ch保持 3 是因为我们输入的是「退化图」不是 mask 和图的拼接——mask 信息通过 Loss 加权引入比直接拼接更稳这点下面会细说。判别器我用 PatchGAN输出一个 N×N 的概率矩阵而不是单值每个值对应原图一个感受野区域。这样判别器关注的是「局部纹理是否真实」而不是整体像不像——对修复任务更敏感。实现上就是几个 stride2 卷积叠到最后输出通道压成 1class Discriminator(nn.Module): def __init__(self, in_ch3): super().__init__() self.model nn.Sequential( nn.Conv2d(in_ch, 64, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, 4, 2, 1), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, 4, 2, 1), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 1, 4, 1, 1) ) def forward(self, x): return self.model(x)注意判别器里不能用 ReLU 做最后的激活因为我们要的是原始 logits之后配合 BCELoss 或 MSELoss 的fake标签一起用。3.2 损失函数组合L1、感知损失与对抗损失的权重怎么配修复任务的损失函数是整个系统里最看参数的地方。只用 L1修复结果会模糊但不容易崩。只用对抗损失会有明显伪影但纹理真实。混合的话权重比例决定最终效果偏哪边。我常用的配方是l1_loss nn.L1Loss() bce_loss nn.BCEWithLogitsLoss() def perceptual_loss(fake, real): 用预训练 VGG16 提取 relu1_2、relu2_2、relu3_3 特征做对比 features_fake vgg16_feats(fake) features_real vgg16_feats(real) return sum(nn.functional.l1_loss(f, r) for f, r in zip(features_fake, features_real))具体权重在训练里这样组合lambda_l1 1.0 lambda_p 0.5 lambda_gan 0.1 gen_loss (lambda_l1 * l1_loss(fake, real) lambda_p * perceptual_loss(fake, real) lambda_gan * bce_loss(disc_fake, valid_label))逻辑说明L1 保证修复区域的位置和整体色调不出大偏差感知损失约束修复区域的高层语义特征和真实图一致——比如人脸修复时眼睛的位置、鼻梁的轮廓靠像素级 L1 学不出来得靠 VGG 特征比对。对抗损失只给 0.1 的权重是因为修复不是从零生成大部分区域是已知的判别器主要盯缺失区域那一小块权重高了会把整体色调带偏。参数说明这三个 λ 的值是我在 256×256 输入下调出来的。如果你换到 512×512建议把lambda_p降到 0.3因为分辨率越高感知特征对纹理越敏感权重过高会让修复区域出现「特征复制」的严重伪影。训练前 20 轮可以先把lambda_gan设成 0只训生成器让 L1 和感知损失先收敛等判别器 loss 不再下降再加对抗损失这也是常见的迁移学习技巧。3.3 训练循环里的关键参数batch size、学习率与 padding 模式训练 GAN 修复模型最影响稳定性的不是网络深度而是 batch size 和学习率的组合。batch size 太小判别器每个 batch 看到的样本太单一容易记住特定纹理太大显存扛不住。我测试下来256×256 输入用 batch size 8 到 16 比较合适。学习率生成器和判别器分开设生成器 2e-4判别器 1e-4用 Adam 的 beta10.5、beta20.999——这是 GAN 训练的常见配置beta1 取 0.5 是为了让梯度更新不那么依赖历史动量避免陷入模式坍缩。还有一个容易踩的坑是 padding 模式。U-Net 里卷积默认用padding1补零这在普通分类任务里没问题但修复任务的缺失区域靠边缘补零会引入「黑色边框」语义网络会学着把缺失区域修成黑色。更好的做法是用reflectpaddingnn.Conv2d(in_ch, out_ch, 3, stride, 1, padding_modereflect)改成 reflect 后缺失区域周围的像素会被镜像过来网络更容易推断出纹理延续方向。这个改动会让 PSNR 涨 0.5dB 左右属于性价比很高的免费午餐。另外训练时输入图像要归一化到 [-1,1]不能只用 ImageNet 的 mean/std因为修复任务对绝对色调敏感最好直接用(img - 127.5) / 127.5。我见过有人用 ImageNet 归一化训修复出来的图整体偏暗就是因为把像素分布拉到偏离真实范围了。训练循环每轮要交替更新判别器和生成器先冻结生成器用真实图和修复图各跑一次判别器算 loss 回传再冻结判别器只回传生成器的对抗损失和感知损失。如果更新顺序反了判别器梯度会覆盖生成器刚学的参数训练曲线直接起飞。代码骨架如下for batch in dataloader: img batch[img].to(device) # 原图 mask batch[mask].to(device) # 缺失区域 degraded batch[degraded].to(device) fake generator(degraded) # 修复结果 # 更新判别器 disc.zero_grad() real_pred disc(img) fake_pred disc(fake.detach()) d_loss bce_loss(real_pred, valid_label) bce_loss(fake_pred, fake_label) d_loss.backward() disc_opt.step() # 更新生成器 gen.zero_grad() fake_pred disc(fake) g_loss (lambda_l1 * l1_loss(fake * mask, img * mask) lambda_p * perceptual_loss(fake, img) lambda_gan * bce_loss(fake_pred, valid_label)) g_loss.backward() gen_opt.step()特别注意l1_loss那里我乘了mask——这行是关键。如果全图都算 L1模型会把大量精力花在已经正确的已知区域缺失区域反而学不到位。只对 mask 区域算 L1能让梯度重心放在需要修复的地方。训练初期这样会收敛慢一点但最终修复质量明显更好。4. 项目文档怎么写才不白写从数据集说明到模型卡片的落地结构4.1 文档结构README、数据说明、训练配置与复现步骤很多人写的项目文档就是 README 里贴一张效果图加几行安装命令别人拿到后根本复现不出来。我一般把文档拆成五块环境与依赖、数据准备、训练、评估、预训练模型。每一块都要回答「到底怎么跑」而不是「这是什么」。数据准备部分必须写清退化模型如何生成。你应该把 mask 生成脚本、噪声参数、训练集和验证集划分方式都写进去。一个有用的写法是表格数据项格式说明原始图像JPEG/PNG统一缩放到 256×256 或 512×512mask单通道 PNG0 表示已知区域255 表示缺失区域退化图由脚本生成不存盘训练时实时生成训练/验证划分90%/10%固定随机种子保证可复现环境配置里我建议把核心依赖版本写清楚比如 PyTorch 2.x、numpy、opencv、torchvision但不要列出 30 个包的完整锁文件除非你有 CI 需求。读者真正需要的是「新建 conda 环境后跑这三行命令就能装完」conda create -n inpaint python3.9 -y conda activate inpaint pip install torch torchvision opencv-python numpy tqdm复现步骤部分要按顺序编号每一步对应一个脚本。我的习惯是第一步prepare_data.py处理原始图并生成 mask 索引第二步train.py加载配置开始训练第三步evaluate.py输出 PSNR/SSIM 和可视化结果。每个脚本的输入输出路径要写清楚不要出现「运行 train.py」这种一句话。4.2 实验记录模板指标表、可视化对比与消融记录项目文档里最容易被忽略但最有价值的是实验记录。我会建一个experiments/目录每次训练放一个子目录包含四样东西训练配置 JSON、loss 曲线截图、测试集指标表、修复可视化对比图。配置 JSON 必须记录当前用的损失权重、学习率、batch size、数据增强和随机种子。指标表不要只写 PSNR 和 SSIM还要加一个「人眼评估」列记录修复区域是否出现色斑、模糊、纹理断裂。因为 PSNR 在修复任务里经常骗人一个整体偏灰但边缘锐利的结果PSNR 可能比一个视觉自然的结果更高。我一般会用三组定量指标PSNR、SSIM、LPIPS。LPIPS 更贴近人眼感知但新手不一定装了我通常写清楚它的安装方式。表格长这样模型版本PSNR(dB)SSIMLPIPS修复区域人眼评分L1 only28.450.9120.153模糊边缘重影L1Perceptual29.120.9310.089边缘干净纹理略板L1PerceptualGAN28.980.9250.072纹理真实偶见伪影消融记录更重要。我建议把每次改一个变量的结果贴在文档里比如「去掉感知损失后 L1 权重从 1.0 改成 2.0PSNR 上升但 LPIPS 恶化」。这种记录能帮读者判断你的结论是在什么条件下成立的也是项目文档区别于博客的地方——博客只讲成功路径文档应该记录失败尝试。每次实验顺手截一张训练 50 轮和 200 轮的对比图放进去比任何文字都直观。5. 避坑指南图像修复项目里最常见的 5 个翻车现场5.1 现象训练 loss 正常下降但修复结果全是模糊色块原因判别器权重太大或学习率太高把生成器逼到「不求真实只求骗过判别器」的局部最优。模糊的修复结果往往能从判别器骗到高分因为它和真实图都是平滑的整体色调判别器找不到锐利边界的破绽。解决先把lambda_gan降到 0单独训 50 轮生成器让 L1 和感知损失先把结构学出来然后再把lambda_gan一点点从 0.01 加到 0.1每加一档观察 10 轮验证集 PSNR。另外确认判别器输入有没有做数据增强至少要做随机水平翻转否则判别器容易记住训练集的构图。5.2 现象修复区域出现明显的矩形边界就像贴了块补丁原因mask 区域被网络当成了「特殊输入」在边界处卷积特征不连续。这通常是因为训练时 mask 区域直接填零而模型没见过「零值代表缺失」的这种退化模式也可能是因为 Loss 里没有对 mask 边界做平滑过渡。解决在输入给网络前把 mask 区域填充为全图均值而不是零。这样退化图里缺失区域不再是突兀的黑块卷积在边界处的梯度会更平滑。另一个做法是 Loss 里对 mask 做高斯模糊让 L1 只惩罚缺失中心边界区域给半权重。我用下面的代码生成平滑 mask 用于 Loss 加权smooth_mask cv2.GaussianBlur(mask.astype(np.float32), (0, 0), sigmaX5) loss_mask torch.from_numpy(smooth_mask).to(device) l1_loss (l1_loss(fake * loss_mask, img * loss_mask) / (loss_mask.mean() 1e-8))归一化分母防止 attention 加权后 loss 尺度随 mask 面积变化——如果缺失区域小分子小分母也小整体数值稳定。5.3 现象训练到一半生成器输出整体偏灰饱和度丢失原因对抗损失和感知损失都在拉高高频细节但 L1 损失会把输出拉向平均值。当三者平衡不好时生成器为了降低 L1 对全图所有像素的均摊损失会把修复区域的预测值压向中间灰导致饱和度下降。这本质上是损失函数目标冲突。解决把 L1 计算从 RGB 空间转到 LAB 空间只对 L 通道算 L1对 AB 通道用较小的权重。因为人眼对亮度差异比对色度差异敏感L1 过度惩罚亮度会让整体发灰。更简单的做法是调整权重把lambda_l1从 1.0 降到 0.5同时增加感知损失权重到 0.8这样生成器更关注语义真实性而不是逐像素均值。我实测这个改动能让输出饱和度和原图更接近。5.4 现象训练时间很长但指标不动loss 曲线像心电图原因学习率太高导致生成器和判别器在互相追逐时震荡谁也学不进去。GAN 修复任务里常见的是判别器学得太快loss 降到接近零后生成器梯度消失。解决用学习率预热和余弦退火。前 10 轮从 1e-5 线性升到 2e-4之后每 50 轮按余弦下降到初始值的 1/10。同时限制判别器的更新次数每更新 1 次生成器最多更新 1 次判别器如果发现判别器 loss 低于 0.1就跳过下一次判别器更新。直观判断是判别器 loss 保持在一个中等水平0.3~0.7震荡而不是一路走低说明两者在健康对抗。5.5 现象修复小物体效果好但大面积缺失区域出现重复纹理原因网络从训练数据里学到了「复制周边纹理」的捷径当缺失区域太大时上下文不够生成器会直接把附近特征重复平铺。这在 GAN 模型里叫纹理粘滞本质是判别器的感受野太小无法识别大面积区域的语义合理性。解决把判别器 PatchGAN 的最后一层从输出 1×1 改成输出多个局部 patch并增大每个 patch 对应的感受野。常见做法是增加一个全局判别器分支输入整张修复结果图输出一个标量和局部 patch 损失加起来。我用的做法是让局部判别器覆盖 70×70 像素区域全局判别器覆盖全图。另外训练数据里加入更多带大块 mask 的样本比如把max_len从 80 提高到 160让模型被迫学习全局推理。6. 验证修复效果用 PSNR/SSIM 之外的人眼指标和边界案例把关定量指标只能当筛选器不能当信任依据。我每次训练完会先跑测试集把所有修复结果拼成一张对比大图网格显示原图、退化图、修复图、标注 mask。重点看三类区域边缘处是否出现振铃或锯齿、平坦区域是否有色斑、重复纹理是否有断裂。如果一张大图里 100 个样本只有 1 个明显翻车这个系统还不能上线因为实际数据碰到这个坏样本的概率可能更高。有一个我这个项目里验证过的技巧把修复结果和原图做差值图显示差值绝对值的热力图。如果差值集中在 mask 边界说明边界处理到位如果差值散布在整个图说明模型在改不该改的地方——很可能是感知损失权重过大导致生成器把已修复区域也动了一遍。差值热力图可以用这几行代码生成diff np.abs(fake.astype(np.float32) - real.astype(np.float32)).mean(axis2) diff cv2.normalize(diff, None, 0, 255, cv2.NORM_MINMAX) heatmap cv2.applyColorMap(diff.astype(np.uint8), cv2.COLORMAP_JET)最后我会留一组边界案例做回归测试纯色背景上的划痕、细长物体被遮挡、人脸眼睛区域缺失。这些案例不参与训练也不参与测试集只用来做系统上线前的最后一关。每次调完参数把这组图重新跑一遍确认没有劣化才算真正完成一次迭代。我吃过亏——之前为了追高 PSNR 把感知损失权重加大常规测试集涨了 0.2dB结果纯色背景的修复区域出现暗纹差点上线才发现。从那以后边界案例回归成了固定动作希望这个习惯也能帮到你。本文还有配套的精品资源点击获取