智能化大数据平台关键技术研究.pdfVIP

智城建设118

智能城市INTELLIGENTCITYNO.012025

智能化大数据平台关键技术研究

122

李晟徐春朋任昊

（1.广西师范大学创新创业学院，广西桂林541000；2.北京新动力人才创新研究院，北京100011）

摘要：针对传统大数据平台搭建过程中运行效果不佳、运行成本过高以及数据调度效率较低等

问题，搭建一个新的智能化大数据运行平台。新平台使用Angular数据引擎、Kubernetes引擎和改进布谷

鸟算法等技术。结果显示，改进布谷鸟算法在不同的算法模型中具有较好的数据调度能力，其负载值

变化更为稳定，离散程度更低。新的大数据平台运行中，聚类算法的数据调度时间更短，最短调度时

间为39ms。

关键词：智能化；大数据平台；布谷鸟算法；数据调度

中图分类号：TP18文献标识码：A文章编号：2096-1936（2025）01-0118-03

DOI：10.19301/ki.zncs.2025.01.033

目前，大数据成为推动全球经济和社会发展的和管理的性能。因此，搭建基于B/S架构的大数据

关键驱动力。依靠先进的数据分析和人工智能技平台，平台具备数据集群创建、数据资源管理、系

术，智能化大数据平台不仅能够处理海量数据，还统平台管理等功能。大数据平台基本框架如图1

能从中提炼有价值的信息，为决策、业务优化和创所示。

新提供支持[1]。随着技术的快速发展和应用需求的

日益增长，研究智能化大数据平台的关键技术显得

尤为重要。大数据技术的发展正从单纯的数据存储

和查询，转向更加复杂的数据智能处理和实时分

析。这要求平台不仅需要具备高效处理大规模数据

集的能力，还能够进行复杂的数据分析和学习，自

动提炼有价值的信息，支持实时的决策制定。智能

化大数据平台利用整合机器学习、人工智能等技

术，提高了数据处理的智能化水平，使得数据分析

更加深入和准确。但是，智能化大数据平台的搭建

面临运行效果、运行成本和运行维护等方面的问题。

图1大数据平台基本框架

文章通过多种引擎和改进布谷鸟算法搭建了新的大

大数据平台使用外域的IP网络以实现平台的对

数据平台，以提升平台的数据分析和存储能力。

外通信。大数据平台中搭建一个专门的网络，用来

1大数据平台设计

完成使用者和服务器节点之间的通信，每个网络节

大数据平台能够为用户提供一个数据集群，使

用者通过数据集群实现数据的多功能调度。用户还点都不存在相互干扰的情况。在大数据平台中，使

能够通过大数据平台创建如网络IP地址、SSH数据用者不需要过多地了解集群的部署和创建过程，但

端口、大数据运行情况、用户密码等平台数据集数据平台的集群和部署需要进行保留，部署的集群

群。但在搭建平台的过程中需要考虑用户操作界面必须具备通过使用者指定特征进行改变的功能，实

是否简单、平台系统是否存在延迟。大数据平台应现平台集群的搭建、使用和删除等作用。在大数据

具备系统工具下载接口，系统还需要具备平台维护平台中使用数据监控功能，对平台中每个节点进行

收稿日期：2024-08-16

作者简介：李晟，博士，高级工程师，研究方向为大数据、产业经济。

引用本文：李晟,徐春朋,任昊.智能化大数据平台关键技术研究[J].智能城市,2