大模型行业可信应用框架研究报告.pptxVIP

大模型

行业可信应用框架

研究报告

ResearchReportonIndustry

TrustworthyApplicationFramework

ofFoundationModels

蚂蚁科技集团股份有限公司

中国信息通信研究院

CAICT中国信息通信研究院

蚂蚁集团ANTGROUP

2024年9月

当前，新一代人工智能技术变革方兴未艾，大模型技术作为其代表，正在成为推动产业智能化升级

和经济高质量发展的重要引擎。国家高度重视人工智能发展，已经出台一系列政策措施，为人工智能与实体经济深度融合指明了方向。然而，正如人类历史上的每一次科技革命，新技术的应用在带来巨大发展机遇的同时，也伴随着潜在的风险与挑战。如何确保人工智能技术安全、可靠、可控地发展和应用，构建人类信任的人工智能，已成为全球共同关注的时代命题。

这份研究报告聚焦大模型可信应用这一前沿课题，深入探讨了大模型在金融、医疗、政务等专业领域应用所面临的挑战，并提出了系统化的解决方案。报告立足于技术架构和体系建设，从数据质量提升、模型能力增强、推理过程可控、系统安全保障、评测体系健全等多个维度，构建了面向专业领域的大模型可信应用框架，为推动大模型在产业中的规模化落地应用提供了有益参考。

这份报告的发布恰逢其时，我相信它将对推动人工智能技术与产业的深度融合，促进大模型技术的可信落地应用产生积极的影响。期待未来有更多科研机构、企业和个人参与到这一领域的研究和实践中，共同努力构建出安全、可靠、可控的大模型应用生态，为新时代的智能化产业升级和经济高质量发展贡献更多智慧和力量。

蒋昌俊

同济大学讲席教授、中国工程院院士

以大模型为代表的新一轮人工智能发展浪潮席卷全球，已成为各个行业全面迈向智能化的新引擎。当

前，在缩放定律驱动下，模型能力还在持续提升，基础大模型的语言、视觉和多模态能力加速迭代。与此同时，支撑大模型应用的工程架构也在不断完善，智能体、检索增强生成、模型即服务等新技术新模式的出现，拉近了大模型与用户的距离。

然而，我们应该认识到，虽然大模型在智能客服、知识管理、软件开发等场景中的落地应用越来越多，但要在复杂度高、容错率低的场景中实现规模化应用，仍然面临不少挑战。比如，大模型嵌入知识的学习和更新成本较高，专业性可能存在不足且难以及时更新；大模型的推理过程如同黑盒，难以解释，这使得其难以直接应用于复杂的推理任务；大模型存在“幻觉”现象，可能导致生成的结果缺乏事实依据或数据支撑。因此，如何确保大模型应用的专业性、可控性、真实性和安全性，是跨越大模型落地最后一公里的关键一环。

这份报告结合了中国信通院研究和相关企业的实践经验，系统梳理了大模型可信应用面临的问题和实践路径。在概念上，报告分析了金融、医疗、政务等多个领域的大模型的应用实践经验，提出了“面向专业领域的大模型可信应用框架”。在实践上，报告将“专业、可控、真实、安全”等四个要素作为大模型可信应用的核心目标，并针对数据质量提升、模型知识增强、内容生成可控等七个维度提出落地实施建议，力求形成一套推动大模型可信应用的方法论。

我相信，这份报告一定能对各个行业深入探索大模型应用带来新的启发。我也期待产学研各方进一步紧密携手，不断丰富大模型可信应用实践，充分释放人工智能的无限潜能。

余晓晖

中国信息通信研究院院长

予

序三

人工智能大模型技术如同一颗小火花,正在点燃新世界的无限可能，为新质生产力的发展注入强劲动力。作为以科技创新为根本驱动力的科技企业，蚂蚁集团也在持续投入资源，积极探索大模型在专业、严谨领域的可信应用。我们的目标是让Al像扫码支付一样便利每个人的生活，同时确保其在专业领域的应用安全可靠。为此，我们推出了智能生活管家、金融管家和健康管家三大应用，旨在将大模型技术落地到实际场景中。

然而，我们也清醒地认识到，大模型在行业中规模化可信应用仍面临诸多困难与挑战。要让大模型在行业应用中不断提升其专业性，达到专业人士的水准，需要不断提高数据质量，特别是专业数据的质量、增强模型的专业能力、确保生成内容的可信、提升推理决策过程的可控可解释以及构建完善的专业领域深度评测体系，都是我们需要深入研究的课题。

本报告提出了面向专业领域的大模型可信应用框架，旨在为解决这些问题提供一些思路和方案。我们相信，只有通过产业上下游的通力协作，才能真正推动大模型在产业中的规模化可信应用，助力产业智能化升级。

让我们携手共进，以开放、创新的态度，共同探索人工智能大模型的无限可能，为构建智能化、数字化的美好未来贡献我们的力量。

何征宇

蚂蚁集团副总裁首席技术官

前言

以大模型为代表的新一代人工智能技术变革仍在加速迭代，为“新质生产力”的发展注入强劲动力，助力产业