面向机器人视觉的自然场景理解是近年来的研究热点和重要挑战之一，其目标是对自然场景图像及视频的内容作出有效分析、认知与表达，目前相关理论和算法正处于初期探索阶段。我们的研究成果表明，从场景视觉语义推理、场景目标识别和场景行为模式检测三个环节展开研究，有助于构建自然场景理解的创新机制，进一步开发机器人视觉认知和三维展示相关应用。相关研究参见http://cs.nju.edu.cn/lutong/。采用基于最大间隔训练的主题模型来标注场景中可见区域的语义，进而利用标注与视觉特征间的关系，通过对含隐变量的约束优化求解来推导间接场景语义。针对自然场景图像中目标的多样性和可变性问题，通过条件随机场构建自然场景的多层次上下文，并利用无向图刻画目标的多视角关联表示，提高目标识别算法的准确性和鲁棒性。最后，通过三维高斯分布来描述场景视频中融合深度信息的局部运动模式，并采用马尔科夫随机场模型刻画局部运动模式间时空上下文，以探索拥挤场景中行为模式检测的新方法。从三维模型的几何特征、拓扑特征与统计特征提取出发，通过拓扑关系识别、属性分析、语义关联识别，给出新型、鲁棒的快速层次式动态检索算法及三维模型检验等相关算法.