几十年来的自然语言处理研究几乎都是以文本为处理对象，而文本只是语义表达的一种方式，也是不完备的。很多自然语言的语义理解需要结合语音和图像等其他模态的信息，例如英语句子中“bank”可能需要借助图像是“银行”还是“河岸”去进行理解。基于多模态的自然语言处理旨在以自然语言文本为核心，将与之相关的语音和视觉模态的信息作为辅助知识进行建模，帮助语 义的消岐和理解，从而实现性能更好的自然语言处理模型。

继续阅读：模态   自然语言   处理

此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » 多模态信息融合下的自然语言处理简介