神经网络稀疏性对架构的优化
由于设计抽象层次软硬件的界限逐渐模糊，工程师们可以从工具链的角度利用神经网络的稀疏性对DNN架构展开优化，并遵循算法库设计-定制化算子库设计-编译栈优化的路线。GPU之所以能被广泛应用于市场，得益于它强大的软件生态。英伟达（NVIDIA）专门为挖掘DNN稀疏性设计了一套名为cuSPARSE的算法库，用于执行稀疏的DNN计算。许多AI芯片公司为自己的DNN专用架构开发了定制化的稀疏算子库。例如，华为公司为昇腾芯片开发了支持低精度计算的昇腾算子库。然而，封闭的算子库限制了编译层的优化，不但难以支持复杂的多模型、多模态计算任务，而且可扩展性也较差，需要付出巨大的开发代价来适应不断涌现的新模型及其组合。
此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » 深度神经网络的架构优化方法与压缩动态化