怡心湖

浅谈中文多模态的预训练模型

近年来,基于多模态数据的语义理解与认知探索成为了人工智能领域的一个重要研究热点,旨在使计算机拥有针对多种模态数据的表示、计算与推理能力。实际上,人类的认知是基于...

多模态信息融合下的自然语言处理简介

几十年来的自然语言处理研究几乎都是以文本为处理对象,而文本只是语义表达的一种方式,也是不完备的。很多自然语言的语义理解需要结合语音和图像等其他模态的信息,例如英...

基于视频的多模态情感识别的特征和融合概述

情感是人与人之间相互交流的重要信息之一。人类的认知、行为等几乎都要受到情感的驱动,并且情感影响着人际互动以及群体活动。在人与人的交往中,情感的交流还常被用来辅助...

深度学习用于多模态语义学习简述

互联网用户所创造的“内容”正在迅猛增长,从不同渠道涌现的文本、图像和视频等不同类型的媒体数据以及用户信息更加紧密混合。它们正在以一种新的形式,更为形象综合地表达...