使用大型语言模型自动解析无损评估轮廓图以评估桥梁状况-计算机科学-图像字幕生成-无损评估-桥梁维护和安全.pdfVIP

使用大型语言模型自动解析无损评估轮廓图

以评估桥梁状况

VirajNisheshDarjiCallieC.LiaoDuoduoLiao

SchoolofComputingCollegeofScienceSchoolofComputing

GeorgeMasonUniversityGeorgeMasonUniversityGeorgeMasonUniversity

Fairfax,VA,USAFairfax,VA,USAFairfax,VA,USA

vdarji@cliao3@dliao2@

摘要—桥梁维护和安全对于交通运输机构至关重要，而非且可能花费大量时间，从而推迟决策过程。大型语言模

本破坏性评估（NDE）技术在评定结构完整性方面尤为关键。然型（LLMs）方面的必威体育精装版进展为自动化和增强技术数据

译而，解读NDE数据可能耗时且需要专业知识，这可能会延误分析开辟了新的途径。LLMs展现出了理解和描述来自

决策制定过程。大型语言模型（LLMs）的必威体育精装版进展提供了自动

中各个领域的复杂视觉信息的卓越能力。本研究探讨了利

化和改进这种分析的新方法。这项试点研究介绍了一种全面评估

1LLM能力以解释NDE轮廓图的方法，并展示了LLMs在提用LLMs来解释NDE轮廓图并识别桥梁状况的潜力，

v

7供详细桥梁状况分析方面的有效性。它建立了一个将LLMs整旨在高效地向工程师和决策者提供更易于理解的见解。

0合到桥梁检查工作流程中的框架，表明由LLM辅助的分析可以本试点研究的主要目标是使用大语言模型分析

1

4在不牺牲准确性的情况下提高效率。在这项研究中，探索了几种NDE数据，并基于数据的准确性和质量评估大语言

1最先进的LLMs，设计了特定提示以增强图像描述的质量，这些

.模型的性能。采用了一组多样化的大型语言模型，包括

7提示应用于解释通过如地面穿透雷达（GPR）、电阻率（ER）、

0冲击回波（IE）和超声表面波（USW）等技术获得的五种不同开源和专有解决方案，以实现这一目标。

5的NDE轮廓图来评估桥梁状况。每个LLM模型均根据其生本研究的关键创新是多方面的。首先，提供了一种

2

:成详细描述、识别缺陷、提供可操作建议以及展示总体准确性等全面评估方法以获取LLM在识别NDE轮廓图数据方

v

i方面的能力进行评估。研究结果显示，ChatGPT-4、Claude面的能力。其次，通过一种新颖的方法展示了多个LLM

x

r3.5Sonnet、CogVLM2和ShareGPT4V模型提供了更好在对桥梁状况进行详细解释的有效性，该方法使用次级

a

的图像描述，有效涵盖了与桥梁状况相关的广泛主题。这些四个

LLM分析来综合和巩固发现。第三，我们开发了一个

模型的输出随后通过五种不同的LLM进行了总结，形成了对

将LLMs整合到桥梁检查工作流程中的实用框架。我们

桥梁的全面概述。值得注意的是，ChatGPT-4和Claude3.5

Sonnet生成了更详细且有效的摘要。研究结果表明，LLMs有的研究结果表明，由LLM辅助的分析可以作为现有桥

可能显著提高基础设施评估过程的效率和准确性。这项试点研究梁检查报告的有价值的辅助工具，有可能在不牺牲准确

提出了一种创新方法，利用LLMs进行并行图像标注和总结，从性的情况下减少数据解释所需的时间。本研究为更高效

而加快桥梁维护决策制定，并增强了基础设施管理和安全评估。的桥梁维护决策开辟了新途径，有助于基础设施管理和

IndexTerms—大型语言模型，图像字幕生成，摘要生成，