神经网络压缩技术最重要的是设计抽象层次上的发展，遵循软件算法-硬件架构-软硬件协同设计的轨迹。从软件算法角度来看，压缩深度神经网络模型一直是AI领域的一个重点研究问题。一方面，用一些新的学习表征、模型结构和学习方法，生成一个稀疏性极低的紧致神经网络模型，降低对计算能力和访存的需求。另一方面，通过修改已有的神经网络模型挤压其稀疏性。方法主要包括以下3种。（1）张量分解算法：通过满秩分解、SVD分解等方法将张量降秩；（2）结构化剪枝算法：以通道、矩阵等模型结构为粒度减少神经网络中冗余权值的数量；（3）固定位宽量化算法：统一降低神经网络模型权值参数的表达位宽。业界往往通过耦合上述多项算法以实现更高的模型压缩率。值得一提的是，这些算法可以在GPU等通用处理器上取得明显的计算性能提升。图4展示了结构化剪枝算法，以Channel、Filter、Shape等网络结构为粒度对神经网络的权重剪枝，保证了剪枝粒度大于GPU并行调度粒度（即线程组宽度），从而有效提升了GPU的执行效率。然而，若要进一步提升压缩算法的效率，如更细的剪枝粒度、更灵活的位宽设置，就不得不对硬件架构进行深度定制。这不仅增加了架构设计的复杂度，还降低了架构的灵活性，难以在模型的准确率与压缩率之间取得最佳平衡。
此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » 深度神经网络的压缩技术演进发展探讨