场景地图创建是机器人执行复杂多样化任务的基础，机器人与用户智能交互需求的日益提高，对复杂大场景环境的自主感知和地图创建提出了新的要求。项目针对项目任务要求，取得了如下研究进展：1）针对不同场景对里程计任务的要求，本研究提出了基于视觉和IMU融合的位姿估计方法，有效结合了二者优势，提高了移动机器人位姿估计的精确性和鲁棒性；提出了基于自适应特征的精确位姿估计方法，有效解决了稀疏场景下特征点提取困难，鲁棒性不高的问题。2）针对机器人三维彩色地图创建问题，本研究提出了基于深度学习的特征描述子的闭合回路检测方法，在提高图形特征鲁棒性的同时有效解决了位姿估计造成的累积误差；提出基于关键帧的移动机器人局部三维地图创建方案，采用八叉树的方式存储地图有效降低地图的大小和内存占用；提出一种基于点线特征融合的移动机器人三维地图创建方法，有效增强了机器人在低纹理和光照变化大的场景中地图创建的鲁棒性。3）针对三维场景识别分类、检测、语义分割问题，本研究提出了基于局部共享特征的处理模型和基于学习上采样的语义分割网络，提高了场景语义分割精度；提出了基于分通道卷积的语义分割网络，实现了场景实时语义分割；提出了融合深度学习和掩模的场景语义识别分类、检测方法，有效准确获取场景中散乱多目标的类别和6D位姿信息；提出了基于数据预处理的点云语义分割网络和基于扩张点卷积空间金字塔池化的点云语义分割网络，增强了点云局部特征获取能力，提高了场景分割精度。4）针对层次式复合三维语义地图研究，本研究分别创建了场景二维、三维视觉特征描述词典，通过深度学习的方式充分丰富视觉特征信息，并有效提高了特征的鲁棒性；提出了基于目标标签和场景标签的双监督语义节点识别方案，改善了在复杂语义节点的分类，提高了场景分类精度；提出了基于体素化点云标记拼接的语义地图创建方法，实现了实时创建三维语义地图。项目任务成果共发表11篇论文，其中SCI/EI源刊论文8篇，2篇EI收录源刊，1篇EI收录会议论文；申请国家发明专利6项，培养博士研究生2名，硕士研究生9名。项目技术成果委托湖南省产商品质量监督检验研究院进行了检验，技术指标全部达到或超过项目合同书要求。 2100433B

地图是机器人环境理解和执行交互任务的基础。三维摄像机可获取场景一定距离和分辨率的二维图像信息和三维信息。随着机器人任务的逐步复杂和工作范围的增大，基于三维视觉传感器的点云地图在人机交互、存储和计算更新方面存在严重制约。为此，本项目引入二维/三维摄像机融合的复合三维视觉系统，开展机器人室内场景复合语义地图创建方法研究。主要包括：.①建立层次式复合三维语义地图模型，有效融合三维点云地图、特征地图和语义地图优势，提升大场景下机器人导航、智能交互和快速定位能力；.②研究基于二维和三维摄像机融合的机器人三维运动估计和路径优化方法，提高视觉程计在不同场景下的鲁棒性和估计精度；.③基于场景图像和三维信息，提出无先验知识的三维场景智能分割方法，建立分割区域目标的词袋描述模型，研究场景特定目标语义识别方法；.④根据连续三维视觉信息，探索基于语义目标和几何特性的大规模室内场景节点语义识别方法，实现语义地图创建

近年来，在人工智能技术取得长足进步，各种视觉传感技术，特别是三维感知技术快速发展等因素的推动下，新型机器人逐渐具备了更为强大的感知与理解能力，为快速、准确的三维场景重建与理解开创了新的渠道。本项目以三维几何处理和分析为核心，旨在研究适用于机器人平台的三维重建和分析方法，并充分利用机器人的自主行为能力这一特点，实现机器人对未知室内环境的自主化、智能化三维感知。其输出既包括对室内场景的高质量三维重建，又包括对场景结构的精细化分析和理解。项目拟首先研究面向机器人平台的智能三维感知框架。在此框架下，研究面向单机器人的主动交互式场景重建和理解，以及基于多机器人的协同化智能三维感知。

现有三维建筑物细节层次的定义以及三维综合方法都是以几何精度为准的，缺乏视觉感知的验证，并且很少兼顾到建筑群的整体视觉效应。本研究项目拟对成排的街景建筑物立面上的特征物进行分析，根据特征物的几何、纹理和语义信息等计算它们的视觉重要性或视觉显著性（value of visual salience），同时根据视场内特征物的形态与分布计算出特征物的之间的关联视觉显著性（co-value of visual salience）。然后进行统计分析，提取细节层次，且计算各细节层次之间的相似度。根据视觉感知的特性对各个细节层次所对应的视觉显著性值进行验证和迭代调整，最终划分出符合人的视觉感知和认知特性的细节层次。这种细节层次提取的方法，既考虑到人们对单个建筑物上特征物的感知和认知效果，又兼顾了邻近建筑物的影响与作用效果。同时，在细节层次的提取中，不仅考虑了特征物的纹理和几何，也考虑了它们的语义信息。

随着时空大数据分析的深入和“智慧城市”概念的提出，语义信息的存储管理和可视化表达在现代城市治理过程中显得尤为重要。建筑物是城市环境中最主要的地物要素之一。为了满足复杂城市空间形态认知和精细化管理的需要，本课题研究基于结构的城市三维建筑空间多层次语义建模方法。通过对建筑物三维表面模型进行多尺度结构分析，自动构建从建筑物内部楼层到单体建筑，再到建筑群，最终到整个城区的建筑空间多层次语义模型。微观层面，在三维建筑物模型组成结构和表面功能部件识别的基础上，根据不同结构单元的连接关系和各类功能部件的分布规律，对建筑物楼层空间进行细致划分和语义描述。宏观层面，考虑不同区域的景观形态变化，基于建筑物的高度、面积、座落方向和形状复杂度参数，对城区建筑群空间进行合理分块和语义描述。最后，依据楼层空间和建筑群空间的拓扑关系和属性联系，对建筑物模型进行重构和综合，构建城市建筑物空间的多层次语义模型，并在此基础上进一步探讨城市可视化治理理论模型，推动城市空间语义模型的实践应用。 2100433B