模型量化和剪枝可以降低DNN的计算规模，加速其计算过程，但是不恰当的压缩方法可能会导致模型性能极大退化，甚至导致DNN模型完全不能实际应用。比如，裁剪掉过多的连接或者将DNN的所有数据都量化为二值，将使压缩后的模型失去应用能力。目前，研究者们通过假定一些启发式的条件来探索更好的压缩方法。例如，许多DNN剪枝方法中都提到可根据特征图的显著性进行相应裁剪，对显著性高的特征图保留更高的优先级。而诸多的量化方法则认为，降低直接量化误差，即量化前后数据的欧式距离，可有效减少量化所致的DNN模型性能损失。尽管这些启发式的方法取得了一些成效，但是DNN模型和应用众多、结构复杂多样，研究人员很难设计一种针对所有模型和应用都有效的压缩方法，而要求领域内专家为每一个需要压缩的模型都专门设计合适的压缩算法显然是不现实的。此外，人工设计的启发式的压缩方案仍可能无法获得最佳的模型精度和计算效率。
此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » 神经网络自动量化压缩的问题与挑战