5MB的神经网络也高效,Facebook新压缩算法造福嵌入式设备

职场故事 阅读(719)
沙龙365真人娱乐

人工智能风暴袭来,机器人、自动驾驶汽车这样的嵌入式设热量越来越长。毫无疑问,嵌入式设备现在需要高效的神经网络资金。

但是,如何在嵌入式设备上实现高效的神经网络并非易事。

性能,功耗和成本都是必须考虑的问题。每种不同的应用场景都需要在神经网络的大小和准确度之间进行特定的权衡。

像自动驾驶汽车一样,需要准确识别实时视频,这意味着嵌入其中的神经网络模型必须是一个巨大的人。

受硬件限制,必须压缩神经网络。

在卷积神经网络压缩的主题上,移动高效架构是主流(MobileNets或ShuffleNets)。

然而,基于移动高效架构的MobileNet-v2在ImageNet对象分类中已经达到了71%的前1精度,但它仍远远落后于卷积神经网络83.1%的最佳性能。

Facebook研究人员决定改变想法,就是这样。为什么不把重点放在传统的卷积网络本身呢?

重新检查神经网络的量化

Facebook提出了一种名为BitGoesDown的ResNet类架构的压缩方法。

这种方法利用了结构化量化算法PQ(ProductQuantization)中卷积的高度相关性,重点是重建激活而不是重量本身。

换句话说,该方法仅关注域中输入的重建质量。

研究人员使用未压缩的神经网络作为“老师”,使用图灵奖获得者Hinton等人提出的蒸馏技术。引导压缩“学生”网络。

此过程不需要任何标记数据,并且是无监督的学习方法。

具体实现方法是:

首先,层量化

全连接层为例。

PQ算法的任务是量化完全连接层的权重矩阵。然而,从实际需求的角度来看,权重并不重要,保留层的输出是研究人员关注的焦点。

在上图的非线性分类器中,层权重的弗罗贝尼乌斯近似不能保证是任意域输出的最佳近似(特别是对于域内输入)。

因此,研究人员提出了一种替代方案,通过将层应用于域的输入来最小化误差,以获得激活的重建误差。使用码本来最小化输出激活与其重建之间的差异。

接下来,调整EM算法(最大期望算法)。

E-step是集群分配,通过详尽的探索来执行。

M-step是码字更新。该步骤通过明确计算最小二乘问题的解来完成。实际上,在E步骤和M步骤交替之前计算xtilde的伪逆。

请注意,在E步骤之后,某些群集可能为空。

卷积层的情况怎么样?

在完全连接的层中,此方法适用于任何矢量集,因此如果关联的4D权重矩阵被划分为一组矢量,则该方法可以应用于卷积层。

分割4D矩阵的方法有很多种。该标准是最大化矢量之间的相关性,因为当矢量高度相关时,基于矢量量化的方法效果最好。

这样,卷积滤波器被空间量化以利用网络中的信息冗余,其中不同的颜色表示具有不同码字的子矢量。

二,网络量化

接下来,它涉及整个神经网络的量化。

首先,这是自下而上的量化,从最低级别开始到最高级别结束。

这也称为使用未压缩的教师网络压缩学生网络。它主要包括以下两个步骤:

学习码字

恢复层的当前(current)输入被激活,即,通过量化的下层转发该批图像而获得的输入被激活。使用这些激活来量化当前图层。

微调码字

Minton的蒸馏方法用于微调码字,未压缩的网络用作教师网络,而当前层之前的压缩网络用作学生网络。

在该步骤中,通过对分配给指定码字的每个子矢量的梯度求平均来完成码字的细化。更具体地,在量化步骤之后,分配被修复一次。

接下来,剩下最后一步。全局微调所有层的码字减少残余漂移。 BatchNorm图层的统计信息也会更新。

全局微调使用标准的ImageNet训练集。

体积小,精度高

研究人员使用BitGoesDown来量化ImageNet数据集上预先训练的vanilaResNet-18和ResNet-50。

在16GB VoltaV100 GPU上运行一天后,终于有时间展示结果。

首先,它是与标准ResNet-18和ResNet-50的比较。

对于ResNet-18,模型尺寸减小到1.54MB,压缩率为29x,而前1精度仅比标准模型低4%。

ResNet-50的型号尺寸略大,但也达到约5MB,准确率也保持在可接受的水平。

与模型压缩世界的前辈相比,BitGoesDown显示出其优势。虽然它在规定的1MB大小中丢失,但在5MB竞争中,新方法具有明显的优势,准确率提高了近5个百分点。

这意味着压缩模型可以实现未压缩ResNet-50的性能,同时仍然只有5MB大小。

BitGoesDown在图像分类中表现良好。那么图像检测呢?

研究小组还压缩了何玉明的MaskR-CNN。这次我用了8个V100GPU进行训练。

在压缩25次的情况下,压缩模型的BoxAP和MaskAP仅减少了大约4倍。

这种表现真的很棒。

Facebook表示BitGoesDown等压缩算法将推动虚拟现实(VR)和增强现实(AR)等技术的进一步发展。

目前,该研究团队已开源压缩模型和代码。如果您有兴趣,可以自己复制