近年来，深度学习系统的解释方法已引起人们的广泛关注。现有的深度神经网络可解释方法主要分为基于数据的方法和基于模型的方法。基于数据的可解释性分析方法中最典型的是可视化方法。可视化方法主要通过可视化工具将数据中的重要部分进行标注，将学习过程与原始数据结合起来，进而帮助我们直观地理解深度学习的学习过程。例如，塞尔瓦拉朱（Selvaraju）等人使用了可视化方法，通过对卷积层的梯度生成热力图，对输入图像中的重要像素进行显示和标注，帮助我们理解深度学习的学习区域；欧拉（Olah）等人则使用了特征可视化的方法，对神经元学习到的内容进行可视化。这些可视化方法让人们对神经网络的内在机理有了直接印象，但是由于这类方法无法深人了解模型内部结构，难以对模型决策逻辑进行直接解释，因此对于神经网络的黑盒问题并没有实质性地解决。
此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » 神经网络的可解释性研究现状