作者:赵晔 审核:白宗文
我院张富春教授与重庆大学计算机学院南智雄副教授共同指导的信息与通信工程2021级硕士研究生马宗楠的论文“Multimodal Interactive Fusion for Action Anticipation”被RSS 2023 Workshop接收。RSS会议全称为机器人:科学与系统(Robotics: Science and Systems),是机器人领域的顶级会议,由Robotics:Science and Systems Foundation组织主办,每年举办一次。自第一届会议以来,RSS已经成为了机器人领域内最具有影响力的会议之一,RSS会议邀请来自世界各地的研究人员和专家在会议上发表他们的最新研究成果。由于每年接收的论文数量通常不足100篇,每篇被接收的论文都代表了机器人领域最前沿的研究成果之一。会议侧重于机器人算法,并覆盖了机器人领域的各个方面,包括感知、规划、控制、操作、人机交互等,旨在促进机器人学的跨学科交流和合作。
今年RSS的“Social Intelligence in Humans and Robots”Workshop仅录用了9篇,其中8篇分别来自麻省理工学院、普林斯顿大学、南加州大学、哈佛大学和剑桥大学等国际一流大学,马宗楠同学的论文是亚洲唯一录用的论文,并在Contributed Talks环节进行了演讲和成果分享。
论文主要研究了多轮交互融合的行为预测方法。通过研究动作预测,理解并观察帧预测的下一个动作,这在视频理解中至关重要。论文通过对比研究并行交互融合和渐进交互融合机制。系统揭示了两者独特的优势:并行融合引入了双向相关结构,增强了鲁棒性。如果一个方向发生错误,另一个方向可予以纠正。渐进式方法考虑了每种模态之间的差异,并对它们提供的信息赋予不同的权重。该方法融合静态特征,并将其作为查询去结合动态特征,从而达到更高的预测精度。该论文为行为预测提供了新的思路和改进效果。
近年来物理与电子信息学院不断加强学科建设,在人才培养、平台建设、重大项目、科学研究等方面持续进步,助力学校更有特色、更有水平建设。