产品中心
我们将会把火狐直播的产品和经验直接服务于更多的客户
为中国经济腾飞做出贡献
【48812】改写滤波器剪枝的SOTA作用腾讯优图论文当选NeurIPS2020
发布日期:2024-06-15 作者: 电力保护监测产品

  神经网络的具有结构和参数这两个特点,这两个特点都具有极端严重含义。本文指出神经网络的滤波器除了一般运用的参数特点以外,还有一种形状特点。形状特点之前一向隐含在参数中,经过练习每个滤波器的参数使其取得不同的形状。滤波器的形状特点具有极端严重的含义。具有适宜形状的滤波器,即便参数是随机的,也能具有比较好的功能。

  因而本文经过一种名为滤波器骨架(Filter Skeleton,FS)的模块来显性地学习滤波器的形状(如图中①)。当练习完毕,咱们我们可以将FS乘回参数上,因而不会引进额定的参数(如图中②)。

  关于不在骨架上的参数,运用逐条裁剪的办法将其整条(stripe,1*1滤波器)裁剪掉。

  详细的,首要经过卷积核算次序的改换,可以将滤波器从Filter wise等价改换为stripe wise(如图中③)。接下来就可以正常的运用正常的滤波器剪枝办法对其进行裁剪(如图中④)。

  (1)提出滤波器除了参数特点外,还存在形状特点,而且形状特点具有极端严重含义。

  (3)经过改换一般卷积为Stripe-Wise Convolution,结构化的完成逐条剪枝后的模型。