基于多视角图像的三维真实感建模多年来一直是计算机视觉和计算机图形学领域的一个重要的研究课题。区别于传统的基于局部特征点的点云重建和交互式勾勒表面轮廓的建模方法，我们从一个全新的角度，深入研究了基于拓扑结构的三维场景建模技术。受概念设计阶段的草图表达的启发，我们将物体的拓扑结构引入基于图像的三维建模，从特征表达和提取、拓扑结构的恢复、表面模型的重建、以及表面纹理的生成四个方面，对基于图像的真实感三维建模中涉及的各个问题进行了研究，获得了一系列的研究成果。具体包括: 1）在拓扑结构特征的表达和抽取方面，我们主要研究了人造场景中物体的点-线-面的拓扑结构表达方式，并提出了高效的拓扑结构特征提取算法，大大精简了大规模图像集中的特征的存储和计算。2）在拓扑结构的恢复方面，我们结合线条周围和表面上的局部点特征来辅助线条特征的匹配和表面的邻接关系抽取，充分利用了SIFT点特征对于尺度、光照、视角等变化的鲁棒性，在差异性较大的图像集合中获得空间一致的整体拓扑结构，实现了自动的拓扑结构恢复。3）在表面模型的三维重建上，我们提出了一种全自动的表面模型重建方法。主要结合图像上的密集的特征点的对应和重建结果，以及图像各平面区域的外观信息，根据平面基元间的邻接、遮挡等几何关系进行平面延伸、补齐，以及全局修正，获得了准确的三维几何模型。4）对于三维模型表面纹理的生成，针对图像集合中各图像差异性较大、尤其是有大面积前景遮挡的情况，我们提出了一种保持几何一致性的图像拼接算法，针对具有较强几何特征和纹理不够丰富的两种图像区域，自适应地生成样本图像集合，最后通过马尔科夫随机场的优化，实现从多样本中选择合适的图像来源，获得视觉连贯的、无缝的图像拼接。我们从整个三维建模流程中各个环节对基于拓扑结构的的特征抽取、特征匹配、三维重建和纹理生成进行研究，验证了所提拓扑结构特征表达在人造场景的三维重建的有效性，从建模的自动程度、数据存储效率及建模视觉效果上都优于现有算法。