尧图网页设计 
1. 入门神经网络先划清楚要过的四道关1.1 标题里的基础过关到底指什么很多人看到神经网络1-基础过关这类标题第一反应是找一份代码跑一遍看到损失曲线往下掉就觉得自己过关了。我在带新人和做技术评审的时候见过太多这种情况代码能跑图形好看但一问他为什么这里用12个隐藏神经元不用50个为什么激活函数换成ReLU以后拟合结果反而变差了梯度是怎么传到第一层的就答不上来。所以我把基础过关重新定义成四道关第一道是结构关能徒手画出前馈神经网络的结构图说清楚输入层、隐藏层、输出层各自在做什么第二道是数学关能从损失函数出发用链式法则把梯度推到最后一次乘法第三道是工程关能独立完成数据准备、划分、归一化、超参数选择、训练和评估的全流程第四道是诊断关模型不收敛或者过拟合的时候知道从哪几个方向去排查。这四道关有个特点它们不是并列关系而是有严格先后顺序的。跳过数学关直接啃卷积神经网络你会觉得卷积、池化、通道这些概念像天书跳过工程关直接上手图神经网络你连邻接矩阵该怎么归一化都想不明白。我个人的建议是把这四道关压缩在一次密集实践里完成大概两三天的投入之后再去碰CNN、RNN这些东西学习曲线会平缓很多。这篇文章面向的是完全零基础或者只跟着教程跑过一两遍代码的人也适合那些会用框架但说不清原理的半吊子选手自查。我会用一个统一的例子——拟合带噪声的正弦曲线——把前面的关卡全部打通中途该给的公式、该算的参数、该踩的坑都会给出来。前面提到的各种热搜词比如前馈神经网络、BP神经网络、MATLAB、卷积神经网络、RNN循环神经网络、图神经网络、脉冲神经网络我会在后面的章节里逐个说明它们的位置和进入顺序不搞名词轰炸。1.2 四种最基础网络的关系与进入顺序先把术语理清楚因为初学者最容易在这里绕晕。前馈神经网络Feedforward Neural Network是最通用的骨架数据从输入单向流向输出中间可以插任意层。BP神经网络不是一种独立的网络结构它指的是用反向传播算法训练的前馈网络所以BP神经网络结构图和前馈神经网络结构图画的其实是同一个东西——三层结构输入层、一层或多层隐藏层、输出层每层神经元与下一层全连接。卷积神经网络CNN是在前馈骨架里塞进了卷积层和池化层专门吃网格状数据图像是典型代表。循环神经网络RNN是在前馈骨架里加了横向连接让隐藏状态能在时间步之间传递处理序列数据。图神经网络GNN处理的是不规则的图结构节点和边都有特征靠消息传递机制聚合邻居信息。这三者本质上都是前馈思想的变体你只要把基础的三层结构吃透了后面的东西都是在某个位置动了手脚。至于脉冲神经网络SNN、液态神经网络Liquid Neural Network这些更新的方向它们更多是在神经元模型本身做文章比如用脉冲发放代替连续激活值用连续时间微分方程代替离散层。这些内容入门阶段完全不用碰先把连续型的前馈网络搞扎实。网络类型数据结构关键改动典型场景前馈/BP向量、表格无回归、分类、曲线拟合CNN网格图像、频谱加卷积、池化、通道图像分类、目标检测RNN/LSTM序列加时间维度隐藏状态语音、文本、时序预测GNN图邻居聚合、消息传递分子性质、推荐、社交网络1.3 工具选型MATLAB、PyTorch、纯NumPy怎么排热搜里matlab和bp神经网络拟合曲线经常一起出现这不是偶然。MATLAB的神经网络工具箱对拟合任务太友好了feedforwardnet(12)一行建网train一行训练工具箱默认还帮你做输入输出归一化几分钟就能出结果。适合谁适合第一次接触、想先看到神经网络确实能拟合非线性函数这个事实的人。它的副作用是把你和底层隔开了你不知道归一化参数存在哪不知道权重初始化用的什么策略。PyTorch适合第二阶段它把张量运算和自动求导暴露给你你可以自己定义层、自己写损失、自己控制优化器同时不用手推梯度。第三阶段是纯NumPy手写这一步很多人会跳过我强烈建议不要跳。手写完一遍以后你对梯度从输出层往回流这件事会有肌肉记忆之后再看到任何新网络你都知道反向传播该怎么改。提示不要一开始就上TensorFlow或PyTorch的复杂模板先把20行以内的最小可运行例子跑通再逐步加东西。框架里那些model.fit的封装代码对理解原理没有帮助。还有一个常见误区是把工具箱的默认设置当成最优设置。MATLAB默认隐藏层10个神经元、默认trainlm算法、默认验证集15%这些默认值在简单拟合上够用但换个数据集就可能失效。真正需要掌握的是为什么这么设这也是下一章要解决的问题。2. 把一层神经元彻底拆开看2.1 权重、偏置与前向传播的矩阵写法一个神经元做的事说穿了就是加权求和再套一个非线性函数。假设输入是 $x_1, x_2, x_3$那么神经元的输出是 $a f(w_1x_1 w_2x_2 w_3x_3 b)$其中 $w$ 是权重$b$ 是偏置$f$ 是激活函数。权重决定每个输入的重要程度偏置决定这个神经元在输入全为零时是否还能被激活相当于把激活阈值挪了个位置。缺了偏置会怎样所有神经元的激活平面都必须过原点表达能力直接砍半这就是为什么神经网络可以没有偏置这句话在绝大多数情况下是错的。单个神经元写成这样还好理解但一层有12个神经元、输入有1维手写公式就乱了。工程上全部改写成矩阵形式。如果输入矩阵 $X$ 的形状是 $N \times D$$N$个样本每个$D$维第一层权重 $W_1$ 形状是 $D \times H$偏置 $b_1$ 形状是 $1 \times H$那么第一层的线性输出就是 $Z_1 XW_1 b_1$形状 $N \times H$。这一步的几何意义是把 $D$ 维输入空间线性映射到 $H$ 维隐藏空间每个样本变成隐藏空间里的一个点。接着套激活函数得到 $A_1 f(Z_1)$再乘第二层权重 $W_2$形状 $H \times 1$加偏置 $b_2$得到输出 $Z_2 A_1W_2 b_2$。矩阵写法不只是为了简洁它直接决定了代码怎么写。你在PyTorch里写nn.Linear(1, 12)这个层的权重张量形状就是(12, 1)前向计算时框架内部做的是 $xW^T b$。搞不清这个转置关系的人第一次手写矩阵乘法时必然报维度错误。我的经验是先在纸上把每个矩阵的形状标出来确认相邻的两个矩阵能乘上左矩阵的列数等于右矩阵的行数再去写代码能省掉80%的调试时间。2.2 激活函数选型的取舍与饱和问题如果所有层都只用线性变换那么多层网络等价于一层因为线性函数的复合还是线性函数。这就是激活函数存在的根本理由引入非线性让网络有能力逼近任意复杂的连续函数。早期常用的是Sigmoid和Tanh现在隐藏层基本被ReLU系列占领但拟合曲线这种小任务上Tanh依然有它的优势。Sigmoid把输出压到 $(0,1)$求导是 $\sigma(1-\sigma)$最大值只有0.25。这意味着每经过一层梯度最多衰减到原来的四分之一三层之后梯度只剩百分之一点几前面的层几乎收不到有效信号这就是梯度消失。Tanh把输出压到 $(-1,1)$零中心化求导最大值是1比Sigmoid好一些但两端同样饱和输入绝对值大于3的时候导数接近零。ReLU是 $\max(0,x)$正区间导数恒为1彻底解决了正区间的梯度消失代价是负区间导数为零神经元一旦掉进负区间就可能死掉再也激活不了。我在正弦曲线拟合这个任务上实测过隐藏层用Tanh12个神经元3000轮收敛到MSE 1e-4量级换成ReLU需要大约20个神经元才能达到同等精度而且初始化不好的话会出现一段平坦的学习曲线就是死亡ReLU导致的。原因在于目标函数是光滑的周期曲线Tanh的输出范围天然匹配归一化后的目标值而ReLU需要靠足够多的折线段去拼一条曲线。所以选激活函数不是看谁更先进而是看任务性质光滑回归优先Tanh深层网络和图像任务优先ReLU及其变体输出层做回归用线性激活做二分类用Sigmoid做多分类用Softmax。注意输出层的激活函数和损失函数是绑定的。回归配均方误差二分类配Sigmoid加二元交叉熵多分类配Softmax加多元交叉熵。这三对组合乱搭轻则收敛慢重则完全不收敛。2.3 损失函数、反向传播与梯度下降的手推过程损失函数衡量的是预测值和真实值差多远。回归任务最常用均方误差MSE$$L \frac{1}{N}\sum_{i1}^{N}(z_2^{(i)} - y^{(i)})^2$$其中 $N$ 是样本数$z_2^{(i)}$ 是第 $i$ 个样本的网络输出$y^{(i)}$ 是真实值。除以 $N$ 是为了让损失值和批量大小无关这样换批大小的时候学习率不用重新调。反向传播就是链式法则的工程化应用。以两层的网络为例我们需要求四个梯度$\partial L/\partial W_2$、$\partial L/\partial b_2$、$\partial L/\partial W_1$、$\partial L/\partial b_1$。先从输出端往回走。损失对输出的梯度是 $\partial L/\partial Z_2 2(Z_2 - Y)/N$形状和输出一致。往上一步$Z_2 A_1W_2 b_2$所以 $\partial L/\partial W_2 A_1^T \cdot \partial L/\partial Z_2$$\partial L/\partial b_2$ 是 $\partial L/\partial Z_2$ 沿样本维度求和。接着穿过第二层到第一层的连接$\partial L/\partial A_1 \partial L/\partial Z_2 \cdot W_2^T$。再穿过Tanh激活函数Tanh的导数是 $1 - \tanh^2$所以 $\partial L/\partial Z_1 \partial L/\partial A_1 \cdot (1 - A_1^2)$这里是逐元素相乘。最后求第一层的参数梯度$\partial L/\partial W_1 X^T \cdot \partial L/\partial Z_1$$\partial L/\partial b_1$ 同样沿样本维度求和。梯度下降用这些梯度更新参数$W \leftarrow W - \eta \cdot \partial L/\partial W$$\eta$ 是学习率。学习率太大损失会震荡甚至发散太小收敛慢到让人怀疑人生。经验做法是先试0.01观察前100轮的损失曲线如果震荡就降一个数量级如果下降过慢就升一个数量级。更稳妥的方案是用自适应优化器Adam、RMSProp它会自动调整每个参数的有效步长对学习率的敏感度低很多代价是你要多调一个初始学习率。手工把这一整套推导抄写一遍你会发现所有深度学习框架的backward()本质上都在做同一件事沿着计算图反向走每一步做局部导数相乘。区别只在于框架用计算图自动记录了运算顺序而你手推时靠的是对公式的记忆。2.4 数据集三分与归一化被低估的两个关键动作数据划分这件事看起来简单实际是新手最容易翻车的地方。常见的错误有两种一是全部数据拿去训练然后拿训练集上的损失当性能指标结果模型过拟合到记住每一个噪声点你还以为它学得很好二是先归一化再划分导致验证集和测试集的统计信息泄漏到训练过程中。正确顺序是先划分再用训练集的均值和标准差去归一化训练集然后把同一组参数套用到验证集和测试集上。MATLAB工具箱默认会帮你做归一化但它是在划分之后、对每个子集分别做的mapminmax作用在训练集上并把参数记录下来应用于其他集合这个细节很多人不知道。如果你自己手写代码务必手动实现。归一化的目的是让不同量纲的特征在同一尺度上避免梯度下降在某些方向上步长过大、另一些方向上步长过小。对单变量输入的函数拟合来说归一化的另一个好处是把输入压到激活函数不那么饱和的区间Tanh在 $[-1.73, 1.73]$ 范围内导数还比较健康。至于划分比例小数据集常用70/15/15大数据集用98/1/1甚至更极端。这个任务的500个点七三开或者七/十五/十五都行。验证集用来选超参数和早停测试集只在最后用一次用来看泛化性能。我见过有人反复用测试集调参调到最后测试集也变成了验证集报出来的指标全是虚高的。这个习惯一旦养成做任何真实的模型评估都会失真。3. 手把手用MATLAB把BP拟合曲线跑通3.1 造数据与归一化处理先明确任务给定带噪声的正弦函数采样点训练一个前馈网络去拟合它。目标函数取 $y \sin(x) \epsilon$$x$ 在 $[-2\pi, 2\pi]$ 上均匀采样500个点$\epsilon$ 是标准差0.1的高斯噪声。加噪声不是多余动作是为了模拟真实场景——如果数据完全无噪声网络能拟合到接近零误差你反而看不到泛化的效果也不好判断是否过拟合。rng(42); % 固定随机种子保证结果可复现 x linspace(-2*pi, 2*pi, 500); y sin(x) 0.1*randn(size(x)); % 手动划分70% 训练15% 验证15% 测试 N length(x); idx randperm(N); nTrain round(0.7*N); nVal round(0.15*N); trainIdx idx(1:nTrain); valIdx idx(nTrain1:nTrainnVal); testIdx idx(nTrainnVal1:end);这里我特意手动划分并用rng固定随机种子。理由很实在调参阶段如果每次运行的划分都不同你根本无法判断性能变化是来自参数调整还是来自数据分布波动。固定种子以后任何指标变化都能归因到你的改动上。这个习惯在写论文、做竞赛复盘的时候尤其重要。归一化交给MATLAB工具箱处理就行feedforwardnet默认的processFcns里包含removeconstantrows和mapminmax后者会把输入输出映射到 $[-1,1]$。想手动确认的话训练完可以看net.inputs{1}.processSettings里记录的gain和xoffset。我给初学者的建议是第一次先手动实现一遍归一化和反归一化公式是 $x_{norm} 2(x - x_{min})/(x_{max} - x_{min}) - 1$反变换把上式逆过来。手写一遍之后你才会真正理解为什么预测结果必须反归一化才能和原数据比较——这是新手高频错误之一。3.2 网络结构与超参数的选择计算隐藏层神经元个数怎么定教科书上有一个经验公式$H \sqrt{N_{in} N_{out}} \alpha$其中 $\alpha$ 取1到10之间的常数。这个任务输入1维、输出1维$\sqrt{2} \approx 1.41$加上 $\alpha$ 得到2到12明显偏小。这个公式其实是针对分类任务的经验值对连续函数拟合参考价值有限。更实用的方法是估计需要多少个折线段才能拼出这条曲线。Tanh神经元在正负饱和区之间有一段近似线性的过渡区一个神经元大致能贡献一个弯曲而 $\sin(x)$ 在 $[-2\pi, 2\pi]$ 上有两个完整周期至少需要8到10个弯曲点。我实际测试的结论是10个神经元时欠拟合峰值被削平12到16个神经元比较合适20个以上开始有过拟合迹象在噪声点上抖动。最终我选12个理由是精度足够且参数最少。net feedforwardnet(12); % 单隐藏层12个神经元 net.trainFcn trainlm; % Levenberg-Marquardt小规模拟合首选 net.trainParam.epochs 1000; net.trainParam.goal 1e-5; net.trainParam.lr 0.01; net.trainParam.mc 0.9; net.trainParam.min_grad 1e-7; net.trainParam.max_fail 6; % 验证集连续6次不下降就停 net.divideFcn divideind; net.divideParam.trainInd trainIdx; net.divideParam.valInd valIdx; net.divideParam.testInd testIdx;关于训练算法trainlm在参数量少于几百个、样本量几千以内的时候收敛极快通常几十轮就能把MSE压到很低它通过近似二阶导数信息调整步长代价是每次迭代的内存占用较高。参数量上千以后换成trainscg量化共轭梯度更划算。max_fail设成6是早停机制验证集损失连续6次不降就停止训练防止继续拟合噪声。这个值设太小容易停早了设太大早停就形同虚设6是个比较稳妥的起点。注意net.divideFcn改成divideind之后train会严格按你给的索引划分。默认的dividerand是随机划分不固定种子的话每次结果都不一样。3.3 训练过程监控与结果评估[net, tr] train(net, x, y); % 样本按列排列 yPred net(x); yPred yPred; % 转回列向量 mseTest mean((yPred(testIdx) - y(testIdx)).^2); rTest corr(yPred(testIdx), y(testIdx));注意输入必须是特征数 × 样本数的矩阵1维输入就是 $1 \times 500$这是MATLAB工具箱和PyTorch样本优先最大的习惯差异来回切换的时候最容易出错。我第一次从PyTorch转过来写MATLAB连续两次把数据转置搞错网络训练出来的东西完全没规律排查了半小时才反应过来。训练结束后重点关注三个量测试集MSE、相关系数R、训练曲线。这个任务上正常情况下测试集MSE能到0.01量级噪声方差本身就是0.01R值在0.99以上。如果MSE远大于0.01说明欠拟合去加神经元或加轮数如果训练集MSE很低但测试集MSE明显高出一截说明过拟合去减神经元、加L2正则、或者调小max_fail让早停更早触发。tr结构体里记录了每一轮的训练、验证、测试性能可以直接画出来figure; plot(tr.epoch, tr.perf, b-, tr.epoch, tr.vperf, g-, tr.epoch, tr.tperf, r-); legend(Train, Validation, Test); xlabel(Epoch); ylabel(MSE); grid on;看曲线的时候有个技巧验证集曲线的最低点往往出现在训练集曲线还在下降的时候那个最低点对应的轮数就是理论最优的停止点。早停机制就是在近似这个点。如果两条曲线一开始就分开且间距越来越大别犹豫直接减模型容量。3.4 用NumPy手写一遍把黑盒打开工具箱跑通之后强烈建议用纯NumPy复现一遍。这段代码总共不到50行但它把前向、损失、反向、更新四个环节全部暴露在你眼前。import numpy as np np.random.seed(42) x np.linspace(-2*np.pi, 2*np.pi, 500).reshape(-1, 1) y np.sin(x) 0.1*np.random.randn(500, 1) # 按训练集统计量做归一化 x_mean, x_std x.mean(0), x.std(0) y_mean, y_std y.mean(0), y.std(0) xn (x - x_mean) / x_std yn (y - y_mean) / y_std H 12 W1 np.random.randn(1, H) * np.sqrt(2.0 / 1) b1 np.zeros((1, H)) W2 np.random.randn(H, 1) * np.sqrt(2.0 / H) b2 np.zeros((1, 1)) lr, epochs 0.05, 5000 for epoch in range(epochs): # 前向传播 Z1 xn W1 b1 A1 np.tanh(Z1) # 形状 (500, 12) Z2 A1 W2 b2 # 形状 (500, 1) # 均方误差 loss ((Z2 - yn) ** 2).mean() # 反向传播 dZ2 2 * (Z2 - yn) / xn.shape[0] dW2 A1.T dZ2 db2 dZ2.sum(0, keepdimsTrue) dA1 dZ2 W2.T dZ1 dA1 * (1 - A1 ** 2) # Tanh 导数 dW1 xn.T dZ1 db1 dZ1.sum(0, keepdimsTrue) # 参数更新 W1 - lr * dW1; b1 - lr * db1 W2 - lr * dW2; b2 - lr * db2 if epoch % 500 0: print(fepoch {epoch:5d} loss {loss:.6f})几个细节值得说。权重初始化用了 $\sqrt{2/n}$ 的缩放这个做法源自He初始化目的是让每层输出的方差保持稳定避免信号在前向传播时指数级放大或衰减。如果把初始化改成简单的np.random.randn(1, H)你会看到Tanh饱和得很厉害前期损失下降极慢。学习率取0.05是因为这里用的是全批量梯度下降样本只有500个比小批量的场景可以大一些。跑5000轮之后训练集上的MSE大概在0.01附近和MATLAB的结果基本一致。跑完这段代码你应该能回答下面几个问题如果把Tanh换成ReLU是dZ1 dA1 * (A1 0)还是别的写法如果把损失从MSE换成MAEdZ2该怎么改如果再加一个隐藏层梯度要多传几次能顺畅回答这三个问题数学关就过了。4. 从曲线拟合跳到图像与序列4.1 图像为什么不直接用前馈网络算一笔参数量有个热搜问题问得很到位图像处理为啥用CNN不用前馈神经网络。答案可以用两个数字说明白。假设输入是 $224 \times 224 \times 3$ 的彩色图展开成一维是150528维。前馈网络第一层如果有1000个神经元参数量是 $150528 \times 1000 \approx 1.5$ 亿。这还只是一层再加一层就破了十亿。参数量这么大训练所需的数据量按比例增长实际根本不可行。再看卷积方案一个 $3 \times 3$ 卷积核、输入3通道、输出64通道参数量是 $3 \times 3 \times 3 \times 64 1728$ 个。同样输出64个特征图参数量差了将近10万倍。参数共享是卷积的核心优势——同一个卷积核在整张图上滑动所有位置共用一组权重。这个设计背后是一个很强的先验假设图像中某个特征比如边缘、角点不管出现在左上角还是右下角都是同一种东西。前馈网络没有这个假设它给每个像素位置都分配独立权重等于放弃了平移不变性。4.2 卷积、池化与通道的物理含义卷积核可以理解成一个模式探测器。一个 $3 \times 3$ 的核有9个权重训练好之后它会对某种局部模式产生强响应比如水平边缘、垂直边缘、对角线。多个核并行工作输出的多个通道就代表同一位置在不同模式下的响应强度。通道数增加意味着能同时检测更多种类的模式。池化的作用是降维和提供一定程度的平移鲁棒性。最大池化取 $2 \times 2$ 窗口里的最大值图像稍微平移一两个像素最大值基本不变这就是平移不变性的来源。同时池化把特征图尺寸减半后续计算量降为四分之一。这些设计叠加起来就构成了经典结构比如LeNet-5这样的早期卷积网络两层卷积加池化再接全连接层输出分类结果。它当年用于手写数字识别参数量只有几万放到今天看非常迷你但该有的模块一个不少是理解卷积网络最合适的样板。3D卷积是把卷积核扩展到三个维度第三个维度通常是时间或深度。处理视频的时候输入是帧数 × 高 × 宽 × 通道用3D卷积能同时捕捉空间纹理和时间上的运动变化。处理医学CT、MRI这类体数据也是一样逐层切片单独做2D卷积会丢掉层间的连续信息。3D卷积的参数量和计算量按维度立方增长所以实际用的时候往往配合降采样。4.3 RNN、LSTM与序列建模的基本盘循环神经网络RNN要解决的问题是输入之间有先后依赖。它的隐藏状态 $h_t f(W_x x_t W_h h_{t-1} b)$当前时刻的输出依赖当前输入和上一时刻的隐藏状态。把这条公式沿着时间展开就得到了所谓的展开图这也是循环神经网络结构图通常画成一串横向排列的方块的原因。朴素RNN的致命伤还是梯度问题。沿着时间反向传播的时候BPTT梯度要连乘 $T$ 次同一个权重矩阵$T$ 是序列长度。矩阵的谱半径小于1就梯度消失大于1就梯度爆炸。文本动辄几百个词朴素RNN根本记不住长距离依赖这才有了LSTM和GRU。LSTM用输入门、遗忘门、输出门三个门控决定信息的写入、保留和读出遗忘门让它可以选择性地忘掉早期信息从而缓解梯度消失。GRU把三个门合并成重置门和更新门参数更少在小数据集上往往比LSTM更好训。所以选型的时候LSTM神经网络和GRU没有绝对的高下参数量紧张就上GRU序列很长、需要精细记忆控制就上LSTM。神经网络TTS是一个很典型的应用落地方向文本经过声学模型变成声学特征序列这个过程通常用RNN或Transformer类的序列模型完成再用声码器把声学特征还原成波形。整条链路里序列建模是骨架。5. 常见问题排查实录与避坑清单5.1 症状与对策速查表症状可能原因排查动作损失完全不降学习率过大、输入未归一化、标签和输入错位学习率降一个数量级检查数据形状和对应关系损失震荡不收敛学习率偏大、批大小过小降到0.001、加到64试一次训练集好、验证集差过拟合、模型容量过大减神经元、加L2、开早停、加数据训练集也不好欠拟合、容量不足、激活函数不当加层加宽、换ReLU、检查归一化输出几乎恒定权重初始化太小、激活函数饱和改用He初始化、检查输入尺度验证集曲线提前抬升早停触发太晚把max_fail从20降到6结果每次都不一样随机种子未固定、划分方式随机固定种子、改用固定索引划分某几个神经元永远不激活死亡ReLU换LeakyReLU或降低学习率5.2 我踩过的几个坑第一个坑是归一化和反归一化不配对。有一次我训练完模型预测值看着形状对但幅值差了好几倍查了半天以为是网络结构问题最后发现是我用训练集的参数归一化输入预测时却用了测试集自己的均值。这个错误很隐蔽因为曲线形状看起来是对的只是被整体压缩了。解决办法是把归一化参数当作模型的一部分保存下来预测时直接加载。第二个坑是用测试集调参。这个习惯很危险我早期做竞赛的时候吃过亏本地测试集上表现完美换到官方评测数据上直接崩盘因为我对测试集做了几十次隐性的选择实际已经把测试集过拟合了。后来我改成划出固定的验证集做所有决策测试集只碰一次问题就消失了。第三个坑是误以为训练轮数越多越好。拟合正弦曲线的时候我试过把轮数从1000加到20000训练集MSE确实从0.01降到了1e-5但测试集MSE反而从0.011升到了0.03曲线在噪声点上出现了明显的抖动。这就是典型的过拟合多出来的那些轮数全用来记忆噪声了。第四个坑是激活函数和损失函数错配。用Sigmoid输出配MSE损失做回归刚开始几百轮损失几乎不动因为Sigmoid在饱和区导数接近零梯度传不回去。换成线性输出层之后收敛速度立刻正常。第五个坑和思维方式有关照着实训平台的参考答案抄一遍就以为会了。那些答案通常只给你一段能通过的代码不会解释为什么这么写。正确的用法是先自己写报错了再去看参考答案的哪一行和你想的不一样把这个差异搞清楚比抄十遍都管用。5.3 几条不太写在文档里的实操建议做超参数搜索的时候不要用网格搜索去同时扫学习率、神经元个数、批大小、正则系数。参数之间是耦合的网格搜索的代价是组合爆炸。我通常用坐标下降先固定其他参数扫神经元个数定下来再扫学习率再扫正则。每一轮只动一个变量这样每一步的性能变化都能归因也更容易在论文或报告里讲清楚。训练过程中保存中间模型也很重要。我习惯每隔一定轮数存一次权重训练完再挑验证集损失最低的那个用而不是直接用最后一次的权重。早停机制本质上是在做这件事但自己存一份更保险尤其是训练要跑几个小时的时候中途断电就白干了。评估指标别只看MSE。回归任务上我一般同时看MSE、MAE和最大绝对误差。有些模型MSE很低但个别点上误差很大MSE被大量小误差摊平了看不出问题最大绝对误差能暴露出来。这在实际部署场景里很关键比如预测温度均方误差漂亮但极端天气全预测错那就是废的。6. 基础过关之后往哪走6.1 几个值得关注的方向和它们的进入门槛把前馈网络、反向传播、数据划分、归一化、早停、过拟合判断这几件事做扎实以后往哪个方向走都可以但门槛高低不同。想往视觉走从卷积神经网络开始重点理解卷积核、通道、感受野、批归一化建议拿一个手写数字识别的数据集从零实现一遍LeNet-5级别的网络。想往文本、语音走从RNN/LSTM开始重点理解时间展开和门控跑一个字符级文本生成的小实验。想往更前沿的方向走图神经网络处理的是节点和边核心机制是邻居消息聚合需要你先熟悉邻接矩阵和拉普拉斯矩阵的基本操作。脉冲神经网络用离散的脉冲事件替代连续激活训练方法和传统网络完全不同属于门槛较高的方向建议放到最后。还有一些和具体问题耦合的方向也值得知道。物理信息神经网络把微分方程残差作为损失的一部分让网络在拟合数据的同时满足物理约束适合做求解偏微分方程这类问题。液态神经网络用连续时间动力学方程描述神经元状态在时序建模上有人拿它和LSTM做对比。神经网络性能预测是用模型去预测另一个模型在特定硬件上的推理延迟和功耗属于神经架构搜索和硬件协同设计的交叉领域近几年在自适应计算平台、FPGA加速这类场景里出现得越来越多。还有一些赛题会涉及通用神经网络处理器上的算子调度本质上是把网络层的计算任务映射到硬件计算单元上属于系统层的活。6.2 混合优化方案GA-PSO-BP这类思路的位置搜索词里出现GA-PSO-BP神经网络这是遗传算法加粒子群优化再叠BP的组合。它要解决的问题是BP依赖梯度下降而梯度下降对初始权重敏感初始化不好就容易掉进局部极小值。遗传算法和粒子群这类群体智能算法不依赖梯度适合全局搜索所以常见做法是先用它们搜出一组不错的初始权重再用BP精调。这个方法在中小规模网络上确实有效代价是训练时间大幅增加因为群体算法每一代都要评估很多个体。我的看法是它属于基础过关之后的选修课。如果你连学习率、批大小、早停都还没调明白上来就套GA优化权重出了问题根本分不清是哪个环节的锅。类似地小波Elman神经网络是把小波变换引入到网络结构或输入预处理中Elman网络本身是一种带反馈连接的RNN这种组合适合处理非平稳信号。这些混合方案的价值在于针对特定问题提升精度而不是通用替代方案。6.3 学习资料的取舍入门阶段教材方面可以看《神经网络与深度学习》这类系统性材料它的推导比较完整适合当手册查课程方面公开的机器学习系列课程讲得偏直观适合先建立整体印象但配套练习一定要自己做。AI神经网络滤镜这类应用本质上是风格迁移或图像到图像的转换底层是卷积网络如果你对效果好奇可以去拆解它的处理流程但别指望靠调一个滤镜就理解网络内部机制。最后一个提醒结构图要自己画。把输入层、隐藏层、输出层、每层的维度、每个操作的张量形状全部标在自己的笔记本上画三遍比看十张别人画的图有用。我到现在遇到新结构第一反应还是先画一张形状推导图把每一层的张量维度写清楚很多时候错误在纸上就已经暴露了。这个习惯是我从最初拟合一条正弦曲线开始养成的一直用到现在确实省了很多调试时间。 BP神经网络入门：从正弦曲线拟合到CNN、RNN、GNN
1. 入门神经网络先划清楚要过的四道关1.1 标题里的基础过关到底指什么很多人看到神经网络1-基础过关这类标题第一反应是找一份代码跑一遍看到损失曲线往下掉就觉得自己过关了。我在带新人和做技术评审的时候见过太多这种情况代码能跑图形好看但一问他为什么这里用12个隐藏神经元不用50个为什么激活函数换成ReLU以后拟合结果反而变差了梯度是怎么传到第一层的就答不上来。所以我把基础过关重新定义成四道关第一道是结构关能徒手画出前馈神经网络的结构图说清楚输入层、隐藏层、输出层各自在做什么第二道是数学关能从损失函数出发用链式法则把梯度推到最后一次乘法第三道是工程关能独立完成数据准备、划分、归一化、超参数选择、训练和评估的全流程第四道是诊断关模型不收敛或者过拟合的时候知道从哪几个方向去排查。这四道关有个特点它们不是并列关系而是有严格先后顺序的。跳过数学关直接啃卷积神经网络你会觉得卷积、池化、通道这些概念像天书跳过工程关直接上手图神经网络你连邻接矩阵该怎么归一化都想不明白。我个人的建议是把这四道关压缩在一次密集实践里完成大概两三天的投入之后再去碰CNN、RNN这些东西学习曲线会平缓很多。这篇文章面向的是完全零基础或者只跟着教程跑过一两遍代码的人也适合那些会用框架但说不清原理的半吊子选手自查。我会用一个统一的例子——拟合带噪声的正弦曲线——把前面的关卡全部打通中途该给的公式、该算的参数、该踩的坑都会给出来。前面提到的各种热搜词比如前馈神经网络、BP神经网络、MATLAB、卷积神经网络、RNN循环神经网络、图神经网络、脉冲神经网络我会在后面的章节里逐个说明它们的位置和进入顺序不搞名词轰炸。1.2 四种最基础网络的关系与进入顺序先把术语理清楚因为初学者最容易在这里绕晕。前馈神经网络Feedforward Neural Network是最通用的骨架数据从输入单向流向输出中间可以插任意层。BP神经网络不是一种独立的网络结构它指的是用反向传播算法训练的前馈网络所以BP神经网络结构图和前馈神经网络结构图画的其实是同一个东西——三层结构输入层、一层或多层隐藏层、输出层每层神经元与下一层全连接。卷积神经网络CNN是在前馈骨架里塞进了卷积层和池化层专门吃网格状数据图像是典型代表。循环神经网络RNN是在前馈骨架里加了横向连接让隐藏状态能在时间步之间传递处理序列数据。图神经网络GNN处理的是不规则的图结构节点和边都有特征靠消息传递机制聚合邻居信息。这三者本质上都是前馈思想的变体你只要把基础的三层结构吃透了后面的东西都是在某个位置动了手脚。至于脉冲神经网络SNN、液态神经网络Liquid Neural Network这些更新的方向它们更多是在神经元模型本身做文章比如用脉冲发放代替连续激活值用连续时间微分方程代替离散层。这些内容入门阶段完全不用碰先把连续型的前馈网络搞扎实。网络类型数据结构关键改动典型场景前馈/BP向量、表格无回归、分类、曲线拟合CNN网格图像、频谱加卷积、池化、通道图像分类、目标检测RNN/LSTM序列加时间维度隐藏状态语音、文本、时序预测GNN图邻居聚合、消息传递分子性质、推荐、社交网络1.3 工具选型MATLAB、PyTorch、纯NumPy怎么排热搜里matlab和bp神经网络拟合曲线经常一起出现这不是偶然。MATLAB的神经网络工具箱对拟合任务太友好了feedforwardnet(12)一行建网train一行训练工具箱默认还帮你做输入输出归一化几分钟就能出结果。适合谁适合第一次接触、想先看到神经网络确实能拟合非线性函数这个事实的人。它的副作用是把你和底层隔开了你不知道归一化参数存在哪不知道权重初始化用的什么策略。PyTorch适合第二阶段它把张量运算和自动求导暴露给你你可以自己定义层、自己写损失、自己控制优化器同时不用手推梯度。第三阶段是纯NumPy手写这一步很多人会跳过我强烈建议不要跳。手写完一遍以后你对梯度从输出层往回流这件事会有肌肉记忆之后再看到任何新网络你都知道反向传播该怎么改。提示不要一开始就上TensorFlow或PyTorch的复杂模板先把20行以内的最小可运行例子跑通再逐步加东西。框架里那些model.fit的封装代码对理解原理没有帮助。还有一个常见误区是把工具箱的默认设置当成最优设置。MATLAB默认隐藏层10个神经元、默认trainlm算法、默认验证集15%这些默认值在简单拟合上够用但换个数据集就可能失效。真正需要掌握的是为什么这么设这也是下一章要解决的问题。2. 把一层神经元彻底拆开看2.1 权重、偏置与前向传播的矩阵写法一个神经元做的事说穿了就是加权求和再套一个非线性函数。假设输入是 $x_1, x_2, x_3$那么神经元的输出是 $a f(w_1x_1 w_2x_2 w_3x_3 b)$其中 $w$ 是权重$b$ 是偏置$f$ 是激活函数。权重决定每个输入的重要程度偏置决定这个神经元在输入全为零时是否还能被激活相当于把激活阈值挪了个位置。缺了偏置会怎样所有神经元的激活平面都必须过原点表达能力直接砍半这就是为什么神经网络可以没有偏置这句话在绝大多数情况下是错的。单个神经元写成这样还好理解但一层有12个神经元、输入有1维手写公式就乱了。工程上全部改写成矩阵形式。如果输入矩阵 $X$ 的形状是 $N \times D$$N$个样本每个$D$维第一层权重 $W_1$ 形状是 $D \times H$偏置 $b_1$ 形状是 $1 \times H$那么第一层的线性输出就是 $Z_1 XW_1 b_1$形状 $N \times H$。这一步的几何意义是把 $D$ 维输入空间线性映射到 $H$ 维隐藏空间每个样本变成隐藏空间里的一个点。接着套激活函数得到 $A_1 f(Z_1)$再乘第二层权重 $W_2$形状 $H \times 1$加偏置 $b_2$得到输出 $Z_2 A_1W_2 b_2$。矩阵写法不只是为了简洁它直接决定了代码怎么写。你在PyTorch里写nn.Linear(1, 12)这个层的权重张量形状就是(12, 1)前向计算时框架内部做的是 $xW^T b$。搞不清这个转置关系的人第一次手写矩阵乘法时必然报维度错误。我的经验是先在纸上把每个矩阵的形状标出来确认相邻的两个矩阵能乘上左矩阵的列数等于右矩阵的行数再去写代码能省掉80%的调试时间。2.2 激活函数选型的取舍与饱和问题如果所有层都只用线性变换那么多层网络等价于一层因为线性函数的复合还是线性函数。这就是激活函数存在的根本理由引入非线性让网络有能力逼近任意复杂的连续函数。早期常用的是Sigmoid和Tanh现在隐藏层基本被ReLU系列占领但拟合曲线这种小任务上Tanh依然有它的优势。Sigmoid把输出压到 $(0,1)$求导是 $\sigma(1-\sigma)$最大值只有0.25。这意味着每经过一层梯度最多衰减到原来的四分之一三层之后梯度只剩百分之一点几前面的层几乎收不到有效信号这就是梯度消失。Tanh把输出压到 $(-1,1)$零中心化求导最大值是1比Sigmoid好一些但两端同样饱和输入绝对值大于3的时候导数接近零。ReLU是 $\max(0,x)$正区间导数恒为1彻底解决了正区间的梯度消失代价是负区间导数为零神经元一旦掉进负区间就可能死掉再也激活不了。我在正弦曲线拟合这个任务上实测过隐藏层用Tanh12个神经元3000轮收敛到MSE 1e-4量级换成ReLU需要大约20个神经元才能达到同等精度而且初始化不好的话会出现一段平坦的学习曲线就是死亡ReLU导致的。原因在于目标函数是光滑的周期曲线Tanh的输出范围天然匹配归一化后的目标值而ReLU需要靠足够多的折线段去拼一条曲线。所以选激活函数不是看谁更先进而是看任务性质光滑回归优先Tanh深层网络和图像任务优先ReLU及其变体输出层做回归用线性激活做二分类用Sigmoid做多分类用Softmax。注意输出层的激活函数和损失函数是绑定的。回归配均方误差二分类配Sigmoid加二元交叉熵多分类配Softmax加多元交叉熵。这三对组合乱搭轻则收敛慢重则完全不收敛。2.3 损失函数、反向传播与梯度下降的手推过程损失函数衡量的是预测值和真实值差多远。回归任务最常用均方误差MSE$$L \frac{1}{N}\sum_{i1}^{N}(z_2^{(i)} - y^{(i)})^2$$其中 $N$ 是样本数$z_2^{(i)}$ 是第 $i$ 个样本的网络输出$y^{(i)}$ 是真实值。除以 $N$ 是为了让损失值和批量大小无关这样换批大小的时候学习率不用重新调。反向传播就是链式法则的工程化应用。以两层的网络为例我们需要求四个梯度$\partial L/\partial W_2$、$\partial L/\partial b_2$、$\partial L/\partial W_1$、$\partial L/\partial b_1$。先从输出端往回走。损失对输出的梯度是 $\partial L/\partial Z_2 2(Z_2 - Y)/N$形状和输出一致。往上一步$Z_2 A_1W_2 b_2$所以 $\partial L/\partial W_2 A_1^T \cdot \partial L/\partial Z_2$$\partial L/\partial b_2$ 是 $\partial L/\partial Z_2$ 沿样本维度求和。接着穿过第二层到第一层的连接$\partial L/\partial A_1 \partial L/\partial Z_2 \cdot W_2^T$。再穿过Tanh激活函数Tanh的导数是 $1 - \tanh^2$所以 $\partial L/\partial Z_1 \partial L/\partial A_1 \cdot (1 - A_1^2)$这里是逐元素相乘。最后求第一层的参数梯度$\partial L/\partial W_1 X^T \cdot \partial L/\partial Z_1$$\partial L/\partial b_1$ 同样沿样本维度求和。梯度下降用这些梯度更新参数$W \leftarrow W - \eta \cdot \partial L/\partial W$$\eta$ 是学习率。学习率太大损失会震荡甚至发散太小收敛慢到让人怀疑人生。经验做法是先试0.01观察前100轮的损失曲线如果震荡就降一个数量级如果下降过慢就升一个数量级。更稳妥的方案是用自适应优化器Adam、RMSProp它会自动调整每个参数的有效步长对学习率的敏感度低很多代价是你要多调一个初始学习率。手工把这一整套推导抄写一遍你会发现所有深度学习框架的backward()本质上都在做同一件事沿着计算图反向走每一步做局部导数相乘。区别只在于框架用计算图自动记录了运算顺序而你手推时靠的是对公式的记忆。2.4 数据集三分与归一化被低估的两个关键动作数据划分这件事看起来简单实际是新手最容易翻车的地方。常见的错误有两种一是全部数据拿去训练然后拿训练集上的损失当性能指标结果模型过拟合到记住每一个噪声点你还以为它学得很好二是先归一化再划分导致验证集和测试集的统计信息泄漏到训练过程中。正确顺序是先划分再用训练集的均值和标准差去归一化训练集然后把同一组参数套用到验证集和测试集上。MATLAB工具箱默认会帮你做归一化但它是在划分之后、对每个子集分别做的mapminmax作用在训练集上并把参数记录下来应用于其他集合这个细节很多人不知道。如果你自己手写代码务必手动实现。归一化的目的是让不同量纲的特征在同一尺度上避免梯度下降在某些方向上步长过大、另一些方向上步长过小。对单变量输入的函数拟合来说归一化的另一个好处是把输入压到激活函数不那么饱和的区间Tanh在 $[-1.73, 1.73]$ 范围内导数还比较健康。至于划分比例小数据集常用70/15/15大数据集用98/1/1甚至更极端。这个任务的500个点七三开或者七/十五/十五都行。验证集用来选超参数和早停测试集只在最后用一次用来看泛化性能。我见过有人反复用测试集调参调到最后测试集也变成了验证集报出来的指标全是虚高的。这个习惯一旦养成做任何真实的模型评估都会失真。3. 手把手用MATLAB把BP拟合曲线跑通3.1 造数据与归一化处理先明确任务给定带噪声的正弦函数采样点训练一个前馈网络去拟合它。目标函数取 $y \sin(x) \epsilon$$x$ 在 $[-2\pi, 2\pi]$ 上均匀采样500个点$\epsilon$ 是标准差0.1的高斯噪声。加噪声不是多余动作是为了模拟真实场景——如果数据完全无噪声网络能拟合到接近零误差你反而看不到泛化的效果也不好判断是否过拟合。rng(42); % 固定随机种子保证结果可复现 x linspace(-2*pi, 2*pi, 500); y sin(x) 0.1*randn(size(x)); % 手动划分70% 训练15% 验证15% 测试 N length(x); idx randperm(N); nTrain round(0.7*N); nVal round(0.15*N); trainIdx idx(1:nTrain); valIdx idx(nTrain1:nTrainnVal); testIdx idx(nTrainnVal1:end);这里我特意手动划分并用rng固定随机种子。理由很实在调参阶段如果每次运行的划分都不同你根本无法判断性能变化是来自参数调整还是来自数据分布波动。固定种子以后任何指标变化都能归因到你的改动上。这个习惯在写论文、做竞赛复盘的时候尤其重要。归一化交给MATLAB工具箱处理就行feedforwardnet默认的processFcns里包含removeconstantrows和mapminmax后者会把输入输出映射到 $[-1,1]$。想手动确认的话训练完可以看net.inputs{1}.processSettings里记录的gain和xoffset。我给初学者的建议是第一次先手动实现一遍归一化和反归一化公式是 $x_{norm} 2(x - x_{min})/(x_{max} - x_{min}) - 1$反变换把上式逆过来。手写一遍之后你才会真正理解为什么预测结果必须反归一化才能和原数据比较——这是新手高频错误之一。3.2 网络结构与超参数的选择计算隐藏层神经元个数怎么定教科书上有一个经验公式$H \sqrt{N_{in} N_{out}} \alpha$其中 $\alpha$ 取1到10之间的常数。这个任务输入1维、输出1维$\sqrt{2} \approx 1.41$加上 $\alpha$ 得到2到12明显偏小。这个公式其实是针对分类任务的经验值对连续函数拟合参考价值有限。更实用的方法是估计需要多少个折线段才能拼出这条曲线。Tanh神经元在正负饱和区之间有一段近似线性的过渡区一个神经元大致能贡献一个弯曲而 $\sin(x)$ 在 $[-2\pi, 2\pi]$ 上有两个完整周期至少需要8到10个弯曲点。我实际测试的结论是10个神经元时欠拟合峰值被削平12到16个神经元比较合适20个以上开始有过拟合迹象在噪声点上抖动。最终我选12个理由是精度足够且参数最少。net feedforwardnet(12); % 单隐藏层12个神经元 net.trainFcn trainlm; % Levenberg-Marquardt小规模拟合首选 net.trainParam.epochs 1000; net.trainParam.goal 1e-5; net.trainParam.lr 0.01; net.trainParam.mc 0.9; net.trainParam.min_grad 1e-7; net.trainParam.max_fail 6; % 验证集连续6次不下降就停 net.divideFcn divideind; net.divideParam.trainInd trainIdx; net.divideParam.valInd valIdx; net.divideParam.testInd testIdx;关于训练算法trainlm在参数量少于几百个、样本量几千以内的时候收敛极快通常几十轮就能把MSE压到很低它通过近似二阶导数信息调整步长代价是每次迭代的内存占用较高。参数量上千以后换成trainscg量化共轭梯度更划算。max_fail设成6是早停机制验证集损失连续6次不降就停止训练防止继续拟合噪声。这个值设太小容易停早了设太大早停就形同虚设6是个比较稳妥的起点。注意net.divideFcn改成divideind之后train会严格按你给的索引划分。默认的dividerand是随机划分不固定种子的话每次结果都不一样。3.3 训练过程监控与结果评估[net, tr] train(net, x, y); % 样本按列排列 yPred net(x); yPred yPred; % 转回列向量 mseTest mean((yPred(testIdx) - y(testIdx)).^2); rTest corr(yPred(testIdx), y(testIdx));注意输入必须是特征数 × 样本数的矩阵1维输入就是 $1 \times 500$这是MATLAB工具箱和PyTorch样本优先最大的习惯差异来回切换的时候最容易出错。我第一次从PyTorch转过来写MATLAB连续两次把数据转置搞错网络训练出来的东西完全没规律排查了半小时才反应过来。训练结束后重点关注三个量测试集MSE、相关系数R、训练曲线。这个任务上正常情况下测试集MSE能到0.01量级噪声方差本身就是0.01R值在0.99以上。如果MSE远大于0.01说明欠拟合去加神经元或加轮数如果训练集MSE很低但测试集MSE明显高出一截说明过拟合去减神经元、加L2正则、或者调小max_fail让早停更早触发。tr结构体里记录了每一轮的训练、验证、测试性能可以直接画出来figure; plot(tr.epoch, tr.perf, b-, tr.epoch, tr.vperf, g-, tr.epoch, tr.tperf, r-); legend(Train, Validation, Test); xlabel(Epoch); ylabel(MSE); grid on;看曲线的时候有个技巧验证集曲线的最低点往往出现在训练集曲线还在下降的时候那个最低点对应的轮数就是理论最优的停止点。早停机制就是在近似这个点。如果两条曲线一开始就分开且间距越来越大别犹豫直接减模型容量。3.4 用NumPy手写一遍把黑盒打开工具箱跑通之后强烈建议用纯NumPy复现一遍。这段代码总共不到50行但它把前向、损失、反向、更新四个环节全部暴露在你眼前。import numpy as np np.random.seed(42) x np.linspace(-2*np.pi, 2*np.pi, 500).reshape(-1, 1) y np.sin(x) 0.1*np.random.randn(500, 1) # 按训练集统计量做归一化 x_mean, x_std x.mean(0), x.std(0) y_mean, y_std y.mean(0), y.std(0) xn (x - x_mean) / x_std yn (y - y_mean) / y_std H 12 W1 np.random.randn(1, H) * np.sqrt(2.0 / 1) b1 np.zeros((1, H)) W2 np.random.randn(H, 1) * np.sqrt(2.0 / H) b2 np.zeros((1, 1)) lr, epochs 0.05, 5000 for epoch in range(epochs): # 前向传播 Z1 xn W1 b1 A1 np.tanh(Z1) # 形状 (500, 12) Z2 A1 W2 b2 # 形状 (500, 1) # 均方误差 loss ((Z2 - yn) ** 2).mean() # 反向传播 dZ2 2 * (Z2 - yn) / xn.shape[0] dW2 A1.T dZ2 db2 dZ2.sum(0, keepdimsTrue) dA1 dZ2 W2.T dZ1 dA1 * (1 - A1 ** 2) # Tanh 导数 dW1 xn.T dZ1 db1 dZ1.sum(0, keepdimsTrue) # 参数更新 W1 - lr * dW1; b1 - lr * db1 W2 - lr * dW2; b2 - lr * db2 if epoch % 500 0: print(fepoch {epoch:5d} loss {loss:.6f})几个细节值得说。权重初始化用了 $\sqrt{2/n}$ 的缩放这个做法源自He初始化目的是让每层输出的方差保持稳定避免信号在前向传播时指数级放大或衰减。如果把初始化改成简单的np.random.randn(1, H)你会看到Tanh饱和得很厉害前期损失下降极慢。学习率取0.05是因为这里用的是全批量梯度下降样本只有500个比小批量的场景可以大一些。跑5000轮之后训练集上的MSE大概在0.01附近和MATLAB的结果基本一致。跑完这段代码你应该能回答下面几个问题如果把Tanh换成ReLU是dZ1 dA1 * (A1 0)还是别的写法如果把损失从MSE换成MAEdZ2该怎么改如果再加一个隐藏层梯度要多传几次能顺畅回答这三个问题数学关就过了。4. 从曲线拟合跳到图像与序列4.1 图像为什么不直接用前馈网络算一笔参数量有个热搜问题问得很到位图像处理为啥用CNN不用前馈神经网络。答案可以用两个数字说明白。假设输入是 $224 \times 224 \times 3$ 的彩色图展开成一维是150528维。前馈网络第一层如果有1000个神经元参数量是 $150528 \times 1000 \approx 1.5$ 亿。这还只是一层再加一层就破了十亿。参数量这么大训练所需的数据量按比例增长实际根本不可行。再看卷积方案一个 $3 \times 3$ 卷积核、输入3通道、输出64通道参数量是 $3 \times 3 \times 3 \times 64 1728$ 个。同样输出64个特征图参数量差了将近10万倍。参数共享是卷积的核心优势——同一个卷积核在整张图上滑动所有位置共用一组权重。这个设计背后是一个很强的先验假设图像中某个特征比如边缘、角点不管出现在左上角还是右下角都是同一种东西。前馈网络没有这个假设它给每个像素位置都分配独立权重等于放弃了平移不变性。4.2 卷积、池化与通道的物理含义卷积核可以理解成一个模式探测器。一个 $3 \times 3$ 的核有9个权重训练好之后它会对某种局部模式产生强响应比如水平边缘、垂直边缘、对角线。多个核并行工作输出的多个通道就代表同一位置在不同模式下的响应强度。通道数增加意味着能同时检测更多种类的模式。池化的作用是降维和提供一定程度的平移鲁棒性。最大池化取 $2 \times 2$ 窗口里的最大值图像稍微平移一两个像素最大值基本不变这就是平移不变性的来源。同时池化把特征图尺寸减半后续计算量降为四分之一。这些设计叠加起来就构成了经典结构比如LeNet-5这样的早期卷积网络两层卷积加池化再接全连接层输出分类结果。它当年用于手写数字识别参数量只有几万放到今天看非常迷你但该有的模块一个不少是理解卷积网络最合适的样板。3D卷积是把卷积核扩展到三个维度第三个维度通常是时间或深度。处理视频的时候输入是帧数 × 高 × 宽 × 通道用3D卷积能同时捕捉空间纹理和时间上的运动变化。处理医学CT、MRI这类体数据也是一样逐层切片单独做2D卷积会丢掉层间的连续信息。3D卷积的参数量和计算量按维度立方增长所以实际用的时候往往配合降采样。4.3 RNN、LSTM与序列建模的基本盘循环神经网络RNN要解决的问题是输入之间有先后依赖。它的隐藏状态 $h_t f(W_x x_t W_h h_{t-1} b)$当前时刻的输出依赖当前输入和上一时刻的隐藏状态。把这条公式沿着时间展开就得到了所谓的展开图这也是循环神经网络结构图通常画成一串横向排列的方块的原因。朴素RNN的致命伤还是梯度问题。沿着时间反向传播的时候BPTT梯度要连乘 $T$ 次同一个权重矩阵$T$ 是序列长度。矩阵的谱半径小于1就梯度消失大于1就梯度爆炸。文本动辄几百个词朴素RNN根本记不住长距离依赖这才有了LSTM和GRU。LSTM用输入门、遗忘门、输出门三个门控决定信息的写入、保留和读出遗忘门让它可以选择性地忘掉早期信息从而缓解梯度消失。GRU把三个门合并成重置门和更新门参数更少在小数据集上往往比LSTM更好训。所以选型的时候LSTM神经网络和GRU没有绝对的高下参数量紧张就上GRU序列很长、需要精细记忆控制就上LSTM。神经网络TTS是一个很典型的应用落地方向文本经过声学模型变成声学特征序列这个过程通常用RNN或Transformer类的序列模型完成再用声码器把声学特征还原成波形。整条链路里序列建模是骨架。5. 常见问题排查实录与避坑清单5.1 症状与对策速查表症状可能原因排查动作损失完全不降学习率过大、输入未归一化、标签和输入错位学习率降一个数量级检查数据形状和对应关系损失震荡不收敛学习率偏大、批大小过小降到0.001、加到64试一次训练集好、验证集差过拟合、模型容量过大减神经元、加L2、开早停、加数据训练集也不好欠拟合、容量不足、激活函数不当加层加宽、换ReLU、检查归一化输出几乎恒定权重初始化太小、激活函数饱和改用He初始化、检查输入尺度验证集曲线提前抬升早停触发太晚把max_fail从20降到6结果每次都不一样随机种子未固定、划分方式随机固定种子、改用固定索引划分某几个神经元永远不激活死亡ReLU换LeakyReLU或降低学习率5.2 我踩过的几个坑第一个坑是归一化和反归一化不配对。有一次我训练完模型预测值看着形状对但幅值差了好几倍查了半天以为是网络结构问题最后发现是我用训练集的参数归一化输入预测时却用了测试集自己的均值。这个错误很隐蔽因为曲线形状看起来是对的只是被整体压缩了。解决办法是把归一化参数当作模型的一部分保存下来预测时直接加载。第二个坑是用测试集调参。这个习惯很危险我早期做竞赛的时候吃过亏本地测试集上表现完美换到官方评测数据上直接崩盘因为我对测试集做了几十次隐性的选择实际已经把测试集过拟合了。后来我改成划出固定的验证集做所有决策测试集只碰一次问题就消失了。第三个坑是误以为训练轮数越多越好。拟合正弦曲线的时候我试过把轮数从1000加到20000训练集MSE确实从0.01降到了1e-5但测试集MSE反而从0.011升到了0.03曲线在噪声点上出现了明显的抖动。这就是典型的过拟合多出来的那些轮数全用来记忆噪声了。第四个坑是激活函数和损失函数错配。用Sigmoid输出配MSE损失做回归刚开始几百轮损失几乎不动因为Sigmoid在饱和区导数接近零梯度传不回去。换成线性输出层之后收敛速度立刻正常。第五个坑和思维方式有关照着实训平台的参考答案抄一遍就以为会了。那些答案通常只给你一段能通过的代码不会解释为什么这么写。正确的用法是先自己写报错了再去看参考答案的哪一行和你想的不一样把这个差异搞清楚比抄十遍都管用。5.3 几条不太写在文档里的实操建议做超参数搜索的时候不要用网格搜索去同时扫学习率、神经元个数、批大小、正则系数。参数之间是耦合的网格搜索的代价是组合爆炸。我通常用坐标下降先固定其他参数扫神经元个数定下来再扫学习率再扫正则。每一轮只动一个变量这样每一步的性能变化都能归因也更容易在论文或报告里讲清楚。训练过程中保存中间模型也很重要。我习惯每隔一定轮数存一次权重训练完再挑验证集损失最低的那个用而不是直接用最后一次的权重。早停机制本质上是在做这件事但自己存一份更保险尤其是训练要跑几个小时的时候中途断电就白干了。评估指标别只看MSE。回归任务上我一般同时看MSE、MAE和最大绝对误差。有些模型MSE很低但个别点上误差很大MSE被大量小误差摊平了看不出问题最大绝对误差能暴露出来。这在实际部署场景里很关键比如预测温度均方误差漂亮但极端天气全预测错那就是废的。6. 基础过关之后往哪走6.1 几个值得关注的方向和它们的进入门槛把前馈网络、反向传播、数据划分、归一化、早停、过拟合判断这几件事做扎实以后往哪个方向走都可以但门槛高低不同。想往视觉走从卷积神经网络开始重点理解卷积核、通道、感受野、批归一化建议拿一个手写数字识别的数据集从零实现一遍LeNet-5级别的网络。想往文本、语音走从RNN/LSTM开始重点理解时间展开和门控跑一个字符级文本生成的小实验。想往更前沿的方向走图神经网络处理的是节点和边核心机制是邻居消息聚合需要你先熟悉邻接矩阵和拉普拉斯矩阵的基本操作。脉冲神经网络用离散的脉冲事件替代连续激活训练方法和传统网络完全不同属于门槛较高的方向建议放到最后。还有一些和具体问题耦合的方向也值得知道。物理信息神经网络把微分方程残差作为损失的一部分让网络在拟合数据的同时满足物理约束适合做求解偏微分方程这类问题。液态神经网络用连续时间动力学方程描述神经元状态在时序建模上有人拿它和LSTM做对比。神经网络性能预测是用模型去预测另一个模型在特定硬件上的推理延迟和功耗属于神经架构搜索和硬件协同设计的交叉领域近几年在自适应计算平台、FPGA加速这类场景里出现得越来越多。还有一些赛题会涉及通用神经网络处理器上的算子调度本质上是把网络层的计算任务映射到硬件计算单元上属于系统层的活。6.2 混合优化方案GA-PSO-BP这类思路的位置搜索词里出现GA-PSO-BP神经网络这是遗传算法加粒子群优化再叠BP的组合。它要解决的问题是BP依赖梯度下降而梯度下降对初始权重敏感初始化不好就容易掉进局部极小值。遗传算法和粒子群这类群体智能算法不依赖梯度适合全局搜索所以常见做法是先用它们搜出一组不错的初始权重再用BP精调。这个方法在中小规模网络上确实有效代价是训练时间大幅增加因为群体算法每一代都要评估很多个体。我的看法是它属于基础过关之后的选修课。如果你连学习率、批大小、早停都还没调明白上来就套GA优化权重出了问题根本分不清是哪个环节的锅。类似地小波Elman神经网络是把小波变换引入到网络结构或输入预处理中Elman网络本身是一种带反馈连接的RNN这种组合适合处理非平稳信号。这些混合方案的价值在于针对特定问题提升精度而不是通用替代方案。6.3 学习资料的取舍入门阶段教材方面可以看《神经网络与深度学习》这类系统性材料它的推导比较完整适合当手册查课程方面公开的机器学习系列课程讲得偏直观适合先建立整体印象但配套练习一定要自己做。AI神经网络滤镜这类应用本质上是风格迁移或图像到图像的转换底层是卷积网络如果你对效果好奇可以去拆解它的处理流程但别指望靠调一个滤镜就理解网络内部机制。最后一个提醒结构图要自己画。把输入层、隐藏层、输出层、每层的维度、每个操作的张量形状全部标在自己的笔记本上画三遍比看十张别人画的图有用。我到现在遇到新结构第一反应还是先画一张形状推导图把每一层的张量维度写清楚很多时候错误在纸上就已经暴露了。这个习惯是我从最初拟合一条正弦曲线开始养成的一直用到现在确实省了很多调试时间。