摘要:导航系统依赖传感器感知周围环境。当前,基于单一传感器的导航系统已难以满足各类复杂场景下的导航需求,导航系统正朝传感器多源化方向发展。在多源传感器数据融合过程中,图像数据的处理最消耗时间和资源,对系统性能影响最大。为解决这些问题,设计智能导航平台的硬件控制终端,利用基于全球卫星导航系统(Global Navigation Satellite System, GNSS)秒脉冲(Pulse Per Second, PPS)的时间同步,实现多源传感器数据融合;设计用于同步定位与地图构建(Simultaneous Localization And Mapping, SLAM)前端ORB(Oriented FAST and Rotated BRIEF)特征提取加速器,加速图像处理过程,提高SLAM系统的实时性。实验结果表明,硬件平台不仅支持GNSS、惯性测量单元(Inertial Measurement Unit, IMU)、视觉和激光雷达的数据采集和融合,还能加速图像ORB特征点提取。在执行图像ORB特征提取任务时,与CPU和GPU平台上的实现相比,该加速器的帧率分别达到了它们的2.7倍和1.8倍,而功耗仅为它们的5.1%和2.9%。
摘要:多模态对话情感分析的目标是识别对话中每个句子的情感。现有方法的模态融合方式较简单,无法充分捕捉和利用不同模态的特性和信息。此外,这些方法更侧重于局部上下文的捕捉,特别是在处理较长对话时,往往忽略了发言者之间远距离情感信息的整合。为了解决这些问题,提出了一种基于多模态双向融合的图神经网络(Graph Neural Network Based on Multimodal Bidirectional Fusion,GMBF),该网络由多模态融合模块和远距离情感融合模块组成。多模态融合模块由三个双向融合模块组成,双向融合模块从正向和逆向两个方向融合多模态信息,通过逐步融合模态信息以确保信息的充分融合;远距离情感融合模块首先构建对话的句子信息,然后捕捉远距离发言者信息,并将其融入句子信息中,从而使模型能够更好地理解全局情感背景。实验结果表明,所提出的方法在多模态对话情感分析任务中表现优异,展现了其在多模态信息融合和全局信息提取方面的优势。