ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

【AI黑话日日新】Day 052|Pruning(剪枝)

【AI黑话日日新】Day 052|Pruning(剪枝) 一句话说清:剪枝就是给训练好的大模型“动手术”,删掉用不上的连接让它更轻。1. 它到底在说什么Pruning(剪枝)是一类模型压缩(model compression)方法:把训练好的神经网络里“贡献很小”的参数删掉,让模型更小、更省算力,同时尽量不掉精度。它的底气来自一个被反复验证的观察——大模型几乎都是“过度参数化”(over-parameterized)的,里面大量权重、神经元、卷积核彼此重复,删掉一部分并不影响它干活。打个比方:就像装修完的房间里堆了一堆常年没人碰的家具和电线。剪枝不是重新盖房子,而是把那些“用不上”的东西搬走——房子照样住人,但更空、更好维护、搬家用更小车。2. 为什么现在这个词很热剪枝不是新词,它火过好几轮:1990 年,LeCun 等人提出 Optimal Brain Damage(最优脑损伤,OBD),用损失函数对权重的二阶信息(Hessian 对角)给权重重要性打分,是剪枝的理论起点;1993 年 Hassibi 等人提出 Optimal Brain Surgeon(OBS)进一步推广。2015–2016 年,Han 等人先后发表“Learning Both
返回列表