简介百度网盘AI大赛去水印模型冲刺赛冠军方案完整代码包面向从事图像修复、生成式低层次视觉任务的研究者与竞赛选手。方案基于CNN构建去水印模型引入混合注意力机制提升特征表达能力结合多种数据增强策略防止过拟合适合作为比赛复现、算法对比或论文实验的参考实现。压缩包共166个文件以Python源码为主103个py另含57个编译生成的pyc、项目配置文件iml、模型权重pd、说明文档README及license等整体体积92.74MB其中py文件覆盖数据预处理、模型训练、推理与评测等完整流程权重文件可直接加载验证。已有377人学习下载。通过该资源可获取冠军方案的网络结构设计、训练细节与调优思路尤其适合希望在图像去水印方向快速搭建基线或冲刺更高指标的研究者。1. 去水印模型冲刺赛比的不是单模型效果而是检测到修复的完整链路百度网盘AI大赛的去水印模型冲刺赛表面比的是谁的模型把水印清得干净实际拉开分差的是一条「水印检测 → 局部修复 → 时序平滑」的完整链路。赛题里既有固定不动的半透明logo也有扫过画面的滚动字幕只靠一个生成式大模型端到端重画普遍会撞上“水印没了、纹理也糊了”的翻车现场。这篇笔记适合正在备赛的选手以及想给自己视频/照片修复模型补上水印能力的工程师。需要你有一点PyTorch和OpenCV基础没有也不难跟我会把合成、训练、推理、避坑整条路径按可复现的方式拆开讲。2. 数据合成先造一万张带水印的假图再谈训练2.1 三种水印形态决定三种处理策略去水印任务里没有人会给你标好的数据评测集往往是从视频里切出来的几十秒片段水印形态却千差万别。我习惯先把水印分成三类每一类对应不同的处理思路。第一类是静止半透明logo通常挂在角落透明度不高。这类水印的位置相对稳定修复时只要检测出的mask能盖住logo周围画面基本不会受伤。第二类是滚动字幕或跑马灯位置逐帧变化单帧检测结果会来回抖必须引入跨帧轨迹来稳定。第三类是覆盖大面积的全屏蒙层这种已经不是“抠掉一块”的问题而是要把一整片区域的纹理重建出来修复模型的能力上限直接决定分数。水印类型典型场景核心难点推荐策略半透明固定logo视频角落台标mask不准会误伤背景精确检测 局部修复滚动字幕/跑马灯电视滚动条位置抖动、闪烁光流轨迹对齐 时序平滑全屏蒙层测试图/遮挡条大区域纹理重建强修复模型 关键帧重绘2.2 合成脚本贴图、透视变换与光照融合比赛通常不允许直接使用第三方平台的真实水印素材版权合规上容易踩雷。最常见的做法是自建一个可配置的合成管线先渲染文字水印再用随机位置、随机旋转、随机透明度贴到干净视频上。下面这段脚本我第一版参数调了两天核心逻辑就三件事生成水印图、贴到随机位置、让光照和透明度分布贴近真实拍摄。import cv2 import numpy as np import random def make_logo(shape(128, 384), alpha_px160): 生成一张带透明通道的白字水印图 h, w shape logo np.zeros((h, w, 4), dtypenp.uint8) cv2.putText(logo, AIDEMO, (30, 92), cv2.FONT_HERSHEY_SIMPLEX, 2.4, (255, 255, 255, alpha_px), 14, cv2.LINE_AA) return logo def paste_watermark(frame, logo): fh, fw frame.shape[:2] lh, lw logo.shape[:2] # 随机位置尽量别落在画面中心模拟真实角标习惯 x random.randint(0, max(0, fw - lw)) y random.randint(0, max(0, fh - lh)) # 随机旋转 0/90/180/270 或小角度避免模型记住朝向 angle random.choice([0, 90, 180, 270]) random.randint(-3, 3) M cv2.getRotationMatrix2D((lw // 2, lh // 2), angle, 1.0) logo cv2.warpAffine(logo, M, (lw, lh)) alpha random.uniform(0.25, 0.7) # 全局透明度 beta random.uniform(0.85, 1.15) # 亮度扰动 roi frame[y:y lh, x:x lw].astype(np.float32) logo_rgb logo[..., :3].astype(np.float32) * beta logo_a logo[..., 3:4].astype(np.float32) / 255.0 * alpha merged roi * (1 - logo_a) logo_rgb * logo_a frame[y:y lh, x:x lw] merged.astype(np.uint8) # 返回水印框坐标供后续生成mask return frame, (x, y, lw, lh)这段代码的alpha取值范围是0.25到0.7覆盖半透明到近乎实心两种形态模型才不会只学会处理某一种透明度。beta做亮度扰动是为了模拟不同设备渲染出的水印明暗差异。旋转的小随机角很关键比赛视频里的水印不总是端正的加个±3度能让模型对透视变化更鲁棒。跑合成的时候把原帧和加了水印的帧一起存下来干净帧就是修复分支的训练目标。2.3 轨迹合成让视频样本带上运动标注视频去水印和单张照片去水印最大的差别在时序。滚动字幕每一帧位置都不同如果训练数据全是静态贴图模型检测头会记住“水印在角落”一旦跑马灯从中间穿过就漏检。我一般会先选一条运动轨迹再沿轨迹逐帧贴水印同时把每一帧的水印位置落盘成标注文件训练时直接读取不用再跑一遍检测。def synth_video_with_trajectory(src_video, logo, out_video): cap cv2.VideoCapture(src_video) fps int(cap.get(cv2.CAP_PROP_FPS)) fw int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) fh int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) lw, lh logo.shape[1], logo.shape[0] vx, vy random.randint(2, 6), random.randint(1, 3) # 每帧位移 x, y -lw, random.randint(0, max(0, fh - lh)) frame_id 0 writer cv2.VideoWriter(out_video, cv2.VideoWriter_fourcc(*mp4v), fps, (fw, fh)) tracks [] # 保存每帧位置(frame_id, x, y, w, h) while True: ok, frame cap.read() if not ok: break if x fw - lw or y fh - lh: break alpha random.uniform(0.3, 0.6) frame[y:y lh, x:x lw] cv2.addWeighted( frame[y:y lh, x:x lw], 1 - alpha, logo[..., :3], alpha, 0) writer.write(frame) tracks.append((frame_id, x, y, lw, lh)) x vx y vy frame_id 1 np.save(track.npy, np.array(tracks))vx、vy控制每帧位移取值范围让水印在30帧左右从画面一侧穿到另一侧接近真实跑马灯的扫过速度。轨迹落盘成npy文件后训练时解析出每帧的矩形框膨胀几像素生成前景mask监督检测分支。注意轨迹生成时不要让水印一开始就出现在画面内从边界外进入、从边界外离开这样模型才不会把“水印永远从某一帧开始出现”当成先验。3. 模型选型与训练策略先分割出水印区域再做生成式修复3.1 为什么检测与修复要拆成两步一开始我也试过用一个输入输出都是图像的模型做端到端映射带水印图进、干净图出。结果很稳定地“翻车”水印是没了可水印周围的皮肤纹理、草地细节也被重画得一片模糊。原因是这种照片修复模型并不知道哪里要修它把整张图都当成了重建目标信息瓶颈让所有区域都受损。正确的做法是先检测后修复。检测分支输出一张和原图同尺寸的mask标记水印像素位置修复分支只看mask区域背景像素原样拷贝回去。这样模型的自由度被限制住不会“自由发挥”改动画面主体。两个分支可以分开训练再串联推理。3.2 分割网络与修复网络的搭配检测分支我用的是轻量UNet缩版不需要上大transformer模型。水印检测本质是二分类分割特征尺度不大transformer模型详解里那种全局注意力在这个任务上收益有限反而拖慢推理。修复分支我推荐LaMa基于快速傅里叶卷积对大面积纹理重建非常稳显存紧张就退一步用DeepFillv2。模型优势显存占用适用场景轻量UNet分割快、易训练低实时水印检测DeepFillv2修复局部修复稳中字幕/角标修复LaMa修复大面积重建强较高全屏蒙层修复如果评测集里静止水印占多数分割网络用UNet就够了如果滚动字幕多修复网络反而是上限瓶颈因为每帧要修的区域是变化的需要更鲁棒的重建能力。3.3 训练配置半精度、梯度累积与三成分损失修复分支的训练配置里损失函数我用了三部分叠加而不是单一个L1。水印区域在原图里往往占比很小纯L1会让模型优先学背景重建水印处反而学不到位。from torch.cuda.amp import autocast, GradScaler model InpaintModel().cuda() optimizer torch.optim.AdamW(model.parameters(), lr2e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50) scaler GradScaler() accum_steps 4 # 等效batch翻4倍低显存也能跑大图 for epoch in range(50): for step, (wm_img, mask, clean_img) in enumerate(train_loader): wm_img, mask, clean_img [t.cuda() for t in (wm_img, mask, clean_img)] with autocast(): pred model(wm_img, mask) loss (F.l1_loss(pred, clean_img) * 0.7 perceptual_loss(pred, clean_img, mask) * 0.2 0.1 * ssim_loss(pred, clean_img)) scaler.scale(loss / accum_steps).backward() if (step 1) % accum_steps 0: scaler.step(optimizer) scaler.update() optimizer.zero_grad() scheduler.step() torch.save(model.state_dict(), finpaint_{epoch}.pth)L1负责像素级保真perceptual_loss用预训练VGG抽取特征做L2距离保证纹理自然ssim_loss保住结构。三个权重里L1最大因为水印修复最怕的就是“修完了但颜色不对”。梯度累积到4步再更新等效batch翻了4倍低显存运行模型时特别实用。另有一个容易被忽略的点训练时mask不要只用精确标注要随机做几次膨胀和腐蚀。推理时检测分支给出的mask不可能像素级准确如果训练时mask永远很干净推理时稍微偏一点修复效果就崩。检测分支的训练更简单标准二分类分割loss正负样本不平衡用focal loss压一下。注意水印像素只占全图几个百分点普通交叉熵会被背景淹没。4. 推理链路检测、修复、时序平滑一次做完4.1 主流程先检测、再传播、最后决定修不修推理阶段的代码比训练更值得抠细节因为线上评测看的不是单独某一帧而是整段视频的观感。我推理时会额外做两件事用上一帧的mask做光流传播再对mask面积做阈值过滤避免把背景纹理误当成水印修掉。prev_mask None prev_gray None for frame in frames: gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) mask detector(frame) # 0~255 mask cv2.threshold(mask, 200, 255, cv2.THRESH_BINARY)[1] if prev_mask is not None: # 轨迹传播上一帧mask用光流带到当前帧 flow cv2.calcOpticalFlowFarneback( prev_gray, gray, None, 0.5, 3, 15, 3, 5, 1.2, 0) warped cv2.remap(prev_mask, flow[..., 0], flow[..., 1], cv2.INTER_LINEAR) mask cv2.bitwise_or(mask, warped) # 防止单帧漏检 if mask.sum() 500: # 面积太小不修 out inpaint(frame, mask) else: out frame prev_mask, prev_gray mask, gray检测阈值取200的原因软mask在低置信区域边缘很宽取太高会漏掉半透明水印主体取200能在“修到”和“误修”之间留出缓冲。光流传播参数里0.5是金字塔缩放比例3是金字塔层数15是窗口大小窗口调大能处理大位移但滚动字幕速度特别快时会产生空洞需要根据视频分辨率微调。mask面积阈值500像素是个经验值防止画面里一个亮点被误检后触发修复流程白白增加延迟。4.2 关键帧重绘 光流补帧省掉一大半计算量视频去水印最贵的操作是修复模型的前馈逐帧跑N卡都吃力。常见做法是每隔几帧挑一个关键帧做完整修复中间帧用光流把关键帧的修复结果搬过来。只要水流印速度不太快中间帧的画面变化主要是相机位移光流补帧视觉上几乎无感。every 5 key_out None prev_frame None for i, frame in enumerate(frames): if i % every 0: key_mask detector(frame) key_out inpaint(frame, key_mask) # 关键帧全量修复 else: flow optical_flow(prev_frame, frame) key_out warp(key_out, flow) # 迁移关键帧结果 out key_out.copy() prev_frame frame关键帧间隔选5帧基本上0.2秒一个修复点肉眼察觉不到轻微跳变。如果视频里水印本身在快速移动间隔就得缩到3帧如果画面基本静止可以放到8帧。还要注意光流在校验质量差的区域会把文字边缘拉出拖影补救办法是算一次双向光流重投影误差误差大的像素回退到当前帧原始内容——这一条是让我踩过最多坑的地方。4.3 半透明水印的mask羽化避免黑白分明的修复边界半透明水印和水印下面的画面是混叠的修复时如果mask二值化太硬修复结果贴回原图会在边缘露出一圈对比度突变的痕迹。我一般会把mask先做高斯模糊再作为权重图做alpha融合mask中心权重1、边缘过渡到0让修复区域和原背景平滑交接。融合方式很简单out frame * (1 - alpha) inpaint_result * alphaalpha由mask高斯模糊得到。高斯核大小取21左右太小边缘还是硬太大会把修复范围扩散到没水印的区域。参数要跟着视频分辨率走1080p用21720p降到15。5. 去水印模型避坑清单五个让我重跑的经典教训5.1 水印修干净了整张图却蒙了一层雾現象水印区域修复得还行但人脸、草地、天空都像被磨过皮细节丢失严重。原因修复分支把整个图都当成重建目标背景区域也被模型改动另一种可能是mask边缘没有羽化修复结果与背景的亮度不连续视觉上就像蒙了一层雾。解决推理时只回写mask区域背景像素完全保留原图。mask边缘做5到10像素的高斯羽化再融合。训练时把背景区域的loss权重调成0只在mask区域内计算重建误差。5.2 单帧看很好视频一放就闪个不停现象逐帧导出单张图每张都干净合成视频后水印位置来回跳像在闪烁。原因检测分支每帧独立推理水印边缘的检测结果会出现几个像素的抖动修复区域随之抖动。解决检测mask先做时序中值滤波用前后各两帧的mask取中值再交给修复分支。配合4.1的光流传播把上一帧结果作为先验单帧检测抖动就能被压住。5.3 训练loss降了线上分数不涨反跌现象合成数据集上loss曲线很漂亮评测集的分数却不如baseline。原因合成分布和真实水印分布差异太大。真实水印常有抗锯齿边缘、半透明叠加、局部遮挡合成样本里这些细节缺失。解决从自己的拍摄素材里抠真实水印贴回去但要注意素材版权比赛场景就用水印是从自己视频里截的、评测集之外的内容。合成时再加一道高斯模糊和JPEG压缩模拟真实走码后的画面退化。5.4 低显存推理直接OOM现象显存6G的卡修复模型一前馈就报CUDA out of memory。原因修复模型对全图做前馈1080p输入直接吃满显存半精度没开显存翻倍。解决切成512乘以512的patch只对包含mask的patch跑模型结果拼回原图patch之间留16像素重叠、拼回去时线性加权消除接缝。同时开半精度推理显存直接砍半。5.5 修复结果出现棋盘格纹理现象修复区域的皮肤和天空出现细密的网格状纹路越放大越明显。原因模型解码部分用了最近邻上采样高频纹理重建不了就会出现周期性伪影。解决把上采样换成可学习的转置卷积或pixelshuffle训练时额外加一项TV正则惩罚相邻像素的剧烈跳变棋盘格会明显收敛。6. 验证与上线技巧一张显卡也能跑到30 ms/帧6.1 三套指标一起看别只信PSNR去水印模型的验证要分三层单看PSNR容易被骗修复结果像素接近但纹理全糊PSNR照样高。我习惯三套一起看。验证方式看什么注意事项PSNR / SSIM像素级误差与结构相似度只能衡量重建质量跟主观感受有偏差主观盲评修复区域边缘、纹理细节找没参与训练的人看避免先入为主业务侧验证OCR误检率、视频码率变化最贴近真实使用场景6.2 提速三板斧半精度、patch并行、跳过无mask帧推理链路里最贵的是修复分支。第一板斧开半精度PyTorch里一行model.half()速度提升40%上下。第二板斧patch并行把多个patch合成一个batch送进模型GPU利用率上来1080p视频单帧修复能压到30 ms以内。第三板斧从算法层面省4.1里的面积阈值如果检测不出来水印直接跳过修复分支很多评测片段里水印覆盖率不到一半跳过后平均耗时能再降20%。我常犯的毛病是第一个版本就去追大模型参数结果训练慢、推理更慢。这次冲刺赛给我的教训是先把「检测 → 修复 → 时序平滑」链路跑通、把评测端的坑摸完再回头升级单点模型性价比完全不一样。希望帮到你。本文还有配套的精品资源点击获取