机器人产业在过去十年中得到了长足的发展，有效提高机器人的智能感知能力，是未来数年内进一步推动该产业发展的关键所在。机器人的智能认知能力，是指通过人工智能理论和技术，赋予机器人一种类似人类的高层认知能力，从而使得机器人可以自己适应复杂多变、具有较强不确定性的自然场景。本项目拟在前期计算机视、听觉认知算法研究基础上，进一步探索机器多模态认知关键技术在机器人环境感知问题中的具体应用。 1. 从视听觉媒体内容分析着手，探索机器人应用中的多模态关系分析关键支撑技术； 2. 提出视频中的目标识别、场景图像分割与分类新方法； 3. 针对图形对象检测，考虑利用多模态对象语义与结构约束及其与自然场景中其它类型对象的上下文关联，将对象自身的有效特征表示与相关对象及其语义联系起来，相对于主要基于外观特征的多数场景对象检测方法,具有较明显的特色； 4. 在多模态信息在自然场景建模与理解中的应用方面，将多模态对象及其语义信息引入场景上下文模型，丰富了上下文模型的表示能力，同时视、听觉特征的融合增加了场景表示的完整性，有助于提高其区分能力从而增加机器人应用中场景智能感知的精度。