常识论--怡心湖

自然语言的预训练模型概念简介

随着深度学习的发展，各类神经网络模型开始被广泛用于解决自然语言处理（Natural Language Processing，NLP）任务，比如卷积神经网络（Co...

当前，人们所提到的预训练主要是指大规模预训练模型，特别是预训练语言模型，但这种理解其实是有一定局限的。在自然语言处理领域，预训练模型确实取得了非常突出的进展，一...

在人工智能的发展历程中有三个流派。符号主义流派希望用公理和逻辑体系搭建一套人工智能系统，逐渐发展出启发式算法、专家系统、知识工程等技术。连接主义流派主张模仿人类...

随着我国在5G技术领域领先地位的确立，5G赋能传统和新兴产业、点亮未来生活的步伐越走越快，引起了美国政府的担心和疑虑，开始对我国集成电路产业链上游企业实施技术断...

汉字作为一种最基本的语言计算单位，在自然语言研究和汉语文化推广过程中有其独特的计算逻辑。人们期待未来有一天机器能够像人类一样思考问题、理解语言、生成文本和书写汉...

智联网的发展驱动智能进入实体环境。越来越多的智能设备具备了“眼睛”和“大脑”，能够动态感知、智能处理并自主回应来自周围环境的信息。而在这其中，智能设备的“眼睛”...

换能攻击之信号注入为成功且高效地向传感器中注入恶意信号，攻击者需要同时考虑信号的注入点以及信号的类型、幅度和频率等影响信号注入效率的参数。注入点与信号类型由于换...

近几年，无论是网络安全还是人工智能（AI）都呈现蓬勃发展之态势，并且都上升到了国家战略的高度。从目前来看人工智能和网络安全融合主要有三个方向，分别是人工智能自身...

人工智能技术虽然自身风险类型较多，但是在实际情况中真正形成威胁态的还相对较少。威胁是已经发生或者即将发生的安全事件，是有实际对手的，如黑灰产、黑客、不法资本、恶...

人工智能并不是近年来的新概念，自上世纪50年代起就已有人工智能的相关研究了。随着相关技术的不断突破，人工智能在数十年的发展历程中也出现了数次高峰波谷，而近年来深...

模型量化和剪枝可以降低DNN的计算规模，加速其计算过程，但是不恰当的压缩方法可能会导致模型性能极大退化，甚至导致DNN模型完全不能实际应用。比如，裁剪掉过多的连...

近年来，随着多核处理器的发展和各类领域定制加速器的不断涌现，计算系统的计算性能得到了迅速提高。但是，存储架构受到传统存储器件（SRAM/DRAM）密度和带宽的限...

深度神经网络的压缩需求目前，深度神经网络（Deep Neural Network，DNN）已在诸多领域得到广泛应用并获得显著成效，但是其模型规模庞大、计算复杂，...

神经网络模型剪枝深度神经网络（DNN）模型剪枝是通过去除DNN中冗余的参数和结构来降低DNN的计算量，可分为非结构化剪枝和结构化剪枝。非结构化剪枝将DNN中每个...

深度神经网络（DNN）因其强大的表征能力，在图像识别、自然语言处理、物体识别、自动驾驶等多个领域取得了突破性进展。为了适应更复杂的应用场景，深度神经网络不断发展...

神经网络压缩技术最重要的是设计抽象层次上的发展，遵循软件算法-硬件架构-软硬件协同设计的轨迹。从软件算法角度来看，压缩深度神经网络模型一直是AI领域的一个重点研...

神经网络稀疏性对架构的优化由于设计抽象层次软硬件的界限逐渐模糊，工程师们可以从工具链的角度利用神经网络的稀疏性对DNN架构展开优化，并遵循算法库设计-定制化算子...

近年来，随着神经网络算法研究不断取得重大进展，其在图像识别、目标检测、语音识别和自然语言处理等方面均得到了广泛的应用。然而，随着神经网络层数的不断增加，算法所需...

神经网络加速器为提升神经网络算法的实现性能提供了基础架构，而神经网络应用的实际执行必须有合适的软件编程系统配合，才能充分发挥神经网络加速器的硬件优势。在实际应用...

目前越来越多的硬件为AI算法提供加速优化支持。通常，AI硬件可以通过降低工作负载、提升峰值性能、提升计算效率等方法来提供加速优化。降低工作负载剪枝神经网络有较大...

近年来，机器学习的研究和发展与日俱新，机器学习被用于各种复杂的场景与任务，但随之而来是机器学习模型变得更加庞大与复杂。现有边缘设备（如智能手机）的存储能力与计算...

基于模式的剪枝非结构化和结构化剪枝方案代表了设计空间中的两个极端。在非结构化剪枝中，任何权重都可以被修剪，这其实是一种细粒度的方法。相反，在结构化修剪中，整个过...

神经网络是什么？神经网络（Neural Network，NN）作为人工智能（Artificial Intelligence，AI）领域的一类机器学习模型，近年来...

构建高效AI系统的一个重要指导思想是软硬件协同设计，这是因为软件算法和硬件架构在神经网络应用中互相影响、紧密耦合。考虑到AI系统的软硬件协同优化，主要有三个因素...