将无人机捕获的图像中的缺陷数据映射和建模到BIM中，用于建筑外墙检查

Mapping and modelling defect data from UAV captured images to BIM for building external wall inspection

作者：

Yi Tan（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Geng Li（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Ruying Cai（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Jun Ma（Department of Urban Planning and Design, University of Hong Kong, Hong Kong, China）

Mingzhu Wang（School of Architecture, Building and Civil Engineering, Loughborough University, United Kingdom）

期刊：Automation in Construction

原文连接：https://doi.org/10.1016/j.autcon.2022.104284

Q1文章提出的工程问题是什么？有什么实际工程价值？

随着社会的发展，高层住宅建筑和办公建筑已成为现代建筑不可或缺的组成部分。然而，随着部分建筑使用年限的增加，存在着开裂、外墙脱落等安全隐患，将严重危害公共安全，造成经济损失。如果不及早发现这些安全问题，建筑物的健康状况将迅速恶化，导致灾难性后果。

对外墙缺陷进行安全检查和管理，以便及时采取有效的维护措施，对于消除安全隐患，防止人员伤亡和经济损失非常重要。

Q2文章提出的科学问题是什么？有什么新的学术贡献？

传统的高层建筑外墙检测方法要求检测人员在高空作业，人工识别缺陷，这既危险又低效。近年来，使用无人机（UAV）检查建筑物外墙的趋势越来越明显。

本文提出了一种通过将UAV图像中的缺陷数据映射到BIM模型并将缺陷建模为BIM对象来管理建筑外墙检测结果的方法。

考虑到单体建筑规模较小，本文提出了一种简化的坐标转换方法，将实际缺陷位置转换为BIM模型中的坐标。同时，提出了一种基于深度学习的实例分割模型，用于检测捕获图像中的缺陷并提取其特征。最后，识别出的缺陷被建模为具有详细信息的新对象，并映射到相关BIM组件的相应位置。

Q3文章提出的技术路线是什么？有什么改进创新之处？

本文主要提出了缺陷检测和映射框架，图1显示了基于UAV摄影测量自动获取图像信息并与BIM集成的建筑物外墙缺陷检查和管理的流程框架。建议的框架包括：1）准备工作和数据采集与处理，2）坐标转换，3）缺陷检测和定位，以及4）将已识别的缺陷映射到BIM模型。  

图1  缺陷检测和映射框架

①准备工作和数据采集与处理

准备工作包括三个阶段。第一阶段是初步准备阶段，包括：1）注册UAV并获得主管部门的飞行许可；2）确保被检查建筑不在禁飞区；3）访问和调查现场条件，以评估可能的风险因素。

第二阶段是制定飞行计划，包括：规划UAV的飞行路径、设置拍摄图像的位置、起飞和着陆点、UAV与目标之间的垂直距离等。

需要计算UAV摄像头的视野（FOV），它是覆盖整个目标检测墙的关键之一。FOV的示例如图2（a）所示，而UA V摄像机的参数与FOV之间的关系分别如图2（b）和图2（c）所示。

准备工作的第三阶段是根据摄像机的视场处理被检测建筑的BIM模型。在BIM模型中，根据FOV对检测到的外墙进行分割，并使用Dynamo提取每个分割区域的中心点，Dynamo是Revit的可视化编程应用程序，它集成了不同的功能模块以访问BIM数据。首先，使用Dynamo中的“选择面”功能模块选择BIM模型的外墙（“曲面”），并通过“曲线起点”提取墙的四个角点。然后，作者通过编程创建了“选择基点”功能模块，选择其中一个角点作为模型外墙的基点。然后，通过“Element.GetParameterValueByName”和“Geometry.Translate”获得墙的大小。最后，通过“多边形.中心”获得分割区域的中心点。

图2  （a）UAV摄像头的FOV（b）、（c）UAV摄像头参数与FOV之间的关系

准备工作完成后，使用UAV采集建筑外墙数据。在拍摄目标墙的过程中，UAV的飞行平面始终与墙平行，UAV携带的相机镜头直接朝向墙，以防止镜头的俯视图或俯视图以及相应中心点的偏移造成图像偏差。必须安全地收集图像，但相机和墙壁应尽可能靠近，因为较短的距离可以提高图像分辨率。图3中示出了UAV摄影点的位置和FOV中相应墙的中心点的示例。

图3 UAV的位置和墙的中心

②坐标变化

本研究的坐标转换过程如下：首先，将获得的UA V图像坐标转换为分割墙区域中心点的相应坐标。上述转换是在WGS84坐标系中进行的。然后，使用我们提出的方法，将WGS-84中分段墙区域中心点的坐标转换为平面坐标，然后再转换为BIM坐标，如图4所示。

图4 将UAV图像中的坐标转换为BIM模型中的坐标的拟议过程

③缺陷检测和定位

要将缺陷映射到BIM模型，第一步是检测并定位图像中的缺陷，然后映射BIM模型中的相应位置。

本研究使用基于深度学习的缺陷检测方法来检测UA V图像中的缺陷并提取其特征。具体而言，基于称为Mask R-CNN的对象实例分割框架，开发了一个深度学习模型。基于Mask R-CNN开发我们的模型的原因是，它可以生成每个缺陷的像素级分割、轮廓和边界框，这意味着可以获得详细信息，包括缺陷类型、位置、数量、特征（例如面积、宽度、长度等）。

如图5所示，掩码RCNN的工作流程类似于更快的R-CNN。它首先通过几个CNN层提取图像特征，然后训练区域建议网络（RPN）生成区域建议，然后生成感兴趣区域（ROI）。主要区别在于，在Mask R-CNN中添加了一个分支来预测每个RoI的分割掩码，其过程与现有的分类和包围盒回归平行。

图6显示了使用掩模R-CNN的缺陷检测结果的一个示例。每个缺陷都用一个边界框来标识，该边界框指示其类型和一般位置，并用不同的颜色（代表像素值）进行分割，以反映详细的特征。

图5 R-CNN的工作流程

图6 R-CNN识别缺陷的一个示例

然后，自动读取每个图像的尺寸。图像的宽度用W表示，图像的高度用H表示，图像的左上角作为原点。然后，利用深度学习模型的检测结果，提取缺陷轮廓的像素坐标和缺陷的特征（如长度、宽度和脱落面积），并导出到数据库中。根据之前介绍的图像和FOV的比例，计算缺陷的真实尺寸和位置。具体而言，计算缺陷轮廓的像素坐标与FOV中心20之间的实际水平和垂直距离。计算出的实际缺陷位置也会自动生成到数据库中，用于后续映射。

④将缺陷数据映射到BIM模型

经过计算和坐标转换，在数据库中生成每个缺陷的数据，包括实际尺寸和位置信息。开发了一种将已识别缺陷的数据集成到BIM模型中的方法。本研究使用自定义参数化族对BIM模型中的建筑外墙缺陷进行建模，然后通过调整族参数来表示不同的缺陷。

创建的族可以将每个缺陷建模为具有缺陷特征的BIM对象。在映射过程中，从数据库中检索每个缺陷的像素信息，并将其作为BIM中缺陷对象的族参数导入。这样，缺陷的位置和尺寸参数都与BIM模型集成，便于可视化和管理缺陷，便于后续维护。

Q4文章是如何验证和解决问题的？

本研究提出了一种将外墙缺陷数据与BIM模型集成的方法。为了验证该方法检测建筑物外墙的有效性，本研究选择了深圳大学土木与交通工程学院实验楼的两堵外墙，面积为23.2 m×18.8 m。

①图像数据提取

首先，根据预设的UA V路径平面图，依次拍摄实验楼的外墙，并按顺序存储图像。然后，基于Python的方法自动提取每幅图像的GPS坐标、图像序列号、像素大小信息。提取的数据存储在数据库中，部分数据如表所示。

②WGS-84坐标到平面坐标的转换

获取待测外墙GPS坐标信息后，进一步转换为平面坐标。由于目标建筑面积较小，因此提出了一种简化的坐标转换方法。

为了验证所提出的坐标变换方法的准确性，本研究选择了两条直线段的起点和终点。预先测量这四个点（P1、P2、P3和P4）的经纬度坐标以及两条直线段的长度。然后，将两组点的经纬度坐标转换为平面坐标，并再次计算转换后的距离。

如表所示，点P1和P2之间的实际测量距离为9.96 m，而转换为平面坐标后计算的距离为9.95885 m。同样，P3和P4之间的测量距离为4.56 m，而转换后计算的距离为4.55735 m。可以看出，误差以毫米为单位，可以忽略不计，表明所提出的简化坐标变换方法是有效的。

③平面坐标到BIM坐标的转换

经过一系列的坐标变换，所有真实的外墙位置信息在BIM模型中都有对应的点。最后，使用本文的开发方法，将点的位置自动转换为BIM模型坐标。生成的部分数据如表所示。  

④将缺陷数据与BIM模型集成

坐标变换后，使用经过良好训练的深度学习模型自动检测UAV捕获的每个图像中的缺陷。深度学习模型的训练过程中的损失如图7所示，最终实现了收敛。最后，将训练后的模型应用于本案例研究的UAV图像中的裂纹检测和特征提取。

图7 深度学习模式培训过程中的缺失

图8示出了实验室建筑外墙图像中确定的部分裂缝。使用边界框和概率得分对每个裂纹进行检测和分割。从检测结果中提取裂纹的特征（即尺寸和位置信息）。

图8 使用经过良好训练的深度学习模型识别裂纹

最后，Dynamo从数据库中提取先前生成的缺陷信息。根据每个裂纹像素的位置信息，在BIM模型的相应位置将每个裂纹建模为一个族。

所有缺陷均在相应位置绘制并生成，BIM模型中包含详细信息，这有助于评估状况并规划维护活动。我们案例研究中的一个结果示例如图9所示。UAV图像中检测到的外墙裂缝在模型中建模为BIM对象，如图9（a）所示。BIM模型中的裂纹与图像中的裂纹之间的比较如图9（b）所示。通过这种方式，设施经理可以有效地检查特定建筑构件的缺陷，并将其与相关建筑信息相结合，以支持维护决策。

图9

（a） 在BIM模型中映射和建模的裂纹，（b）图像中的裂纹与BIM模型中的裂纹之间的比较

Q5文章有什么可取和不足之处？

逻辑结构：本文的outline呈现在下文：

1.  Introduction

随着使用年限的增加，高层建筑的外墙往往会出现各种各样的缺陷，给安全带来极大的风险。因此，对外墙缺陷进行安全检查和管理，以便及时采取有效的维护措施，对于消除安全隐患，防止人员伤亡和经济损失非常重要

2. Related works

UAV在更新包括土木工程在内的各个行业的安全管理实践方面具有巨大潜力。BIM可以提供各个组件的全面数据以及三维可视化，因此可以大大提高建筑管理效率。

3. The Proposed Defect Detection and Mapping Framework

3.1 Preparatory work and data acquisition

介绍了准备工作的三个阶段和UAV摄影点的位置与FOV中相应墙的中心点的关系

3.2 Coordinate transformation

上述转换是在WGS84坐标系中进行的。然后，使用本文提出的方法，将WGS-84中分段墙区域中心点的坐标转换为平面坐标，然后再转换为BIM坐标。

3.3 Detection and localization of defects

介绍了如何将缺陷映射到BIM模型

3.4 Mapping defect data to BIM model

经过计算和坐标转换，在数据库中生成每个缺陷的数据，包括实际尺寸和位置信息。本文开发了一种将已识别缺陷的数据集成到BIM模型中的方法。

4. Case Study

4.1.Extraction of image dat

根据预设的UAV路径平面图，依次拍摄实验楼的外墙，并按顺序存储图像。然后，基于Python的方法自动提取每幅图像的GPS坐标、图像序列号、像素大小信息。

4.2.Transformation of WGS-84 coordinate to plane coordinate

为了验证所提出的坐标变换方法的准确性，本研究选择了两条直线段的起点和终点。预先测量这四个点（P1、P2、P3和P4）的经纬度坐标以及两条直线段的长度。然后，将两组点的经纬度坐标转换为平面坐标，并再次计算转换后的距离。

4.3.Transformation from plane coordinate to BIM coordinate

经过一系列的坐标变换，所有真实的外墙位置信息在BIM模型中都有对应的点。

4.4. Integrating defect data with the BIM model

坐标变换后，使用经过良好训练的深度学习模型自动检测UAV捕获的每个图像中的缺陷。

5. Conclusions

本研究提出了一种智能方法来检测建筑物外墙31层的缺陷，并将缺陷映射到BIM模型进行管理。UAV用于捕获建筑物墙壁的现状，并从捕获的图像中提取相关信息。然后，提出了一种简化的坐标转换方法，将缺陷位置转换为BIM模型中的坐标。同时，开发了一种基于深度学习的检测模型来自动识别和定位图像中的缺陷。最后，使用Dynamo将缺陷自动建模为BIM族对象。建模缺陷附有特定信息，并在BIM模型的相应位置可视化，使检查员能够有效评估结构状况并规划维护工程。

本文章节设置完整、内容表述逻辑性强，文献综述部分划分小节，内容更详细。特别是在UAV摄像头参数与FOV之间的关系描述部分，运用大量示意图加以表述，使读者易于理解。在文章最后也分析了本文研究优势与局限性，有利于以后相关研究的发展。

研究方法：本文在第三章详细介绍了缺陷检测和映射框架，从中可以了解到基于UAV摄影测量自动获取图像信息并与BIM集成的建筑物外墙缺陷检查和管理的流程。为了验证所提出的坐标变换方法的准确性，以实例进行坐标转换，取得实验结果。

图表形式：本文图表种类多样，内容表述充实，不仅在架构介绍部分有流程图加以解释，也有实验结果图像化展示，有利于直观的展现实验结果另外还包括模型轮廓展示。

Q6文章对自身的研究有什么启发？

本文提出了一个基于UAV和BIM的建筑外墙缺陷检测和管理的通用框架，该框架也适用于其他结构的评估；开发了一种坐标转换方法，将真实数据映射到BIM模型，具有较高的精度。因此，建筑外墙的表面缺陷被映射到BIM模型。该方法不仅适用于单个建筑物，也适用于其他基础设施。这种方法可以为bim结合隧道损伤检验提供思路。

转载请注明来源本文地址：https://www.tuituisoft/blog/4698.html