基于大数据对象存储服务的读写管控框架实现.pdfVIP

摘要

摘要

在云计算和云原生技术快速发展的背景下，随着数据量的持续爆炸性增长，

传统数据库系统面临着性能瓶颈和架构挑战。尤其在拓展性和易用性方面，传统

的大规模并行处理架构（MassivelyParallelProcessing，以下简称MPP）渐渐被新

型的存算分离架构（StorageandComputeSeparation，以下简称SCS）所取代。在

SCS架构中，所有数据被保存在对象存储服务（ObjectStorageService，以下简称

OSS）上，这使得计算资源和存储资源实现了解耦，提高了数据库的弹性和易用

性。尽管SCS架构在许多方面带来了显著的改进和优势，但在实际应用中，数据

库系统在执行查询时对OSS的读写操作成为了新的性能瓶颈。由于OSS通常设计

为分布式的，跨网络的数据访问相比于传统的本地存储会有更高的延迟，特别是

在数据密集和读写频繁的应用场景下，这种延迟对数据库性能的影响尤为显著。

针对上述挑战，本文提出了对象存储服务读写管控框架，通过异步化加速技

术对OSS的读写操作进行优化，有效提升了SCS数据库对OSS的读写性能。同

时框架设计并实现了一个能够按用户优先级进行任务调度的系统，该系统支持多

用户环境下根据用户任务的优先级动态分配系统资源，确保了高优先级任务能够

得到及时处理，从而提高了整个数据库系统的响应能力和服务质量。

实验数据表明，本文提出的大数据对象存储服务读写管控框架使SCS架构数

据库对OSS的读性能提升了3倍，写性能提升了2倍，同时网络带宽的利用率大

幅增加。基于优先级的多用户任务调度系统的表现也达到了设计目标，在多用户

并发查询时可以合理地分配网络带宽资源。

本文的研究工作针对大数据背景下数据库系统面临的性能挑战，特别是在

SCS架构数据库对象存储服务读写性能优化方面，提出了创新的解决方案和实践

经验。未来，随着技术的进一步发展和应用场景的不断拓展，本文提出的读写管

控框架及其优化策略将为推动数据库技术的发展和优化提供新的思路和动力。

关键词：大数据，对象存储，存算分离，异步编程

I

ABSTRACT

ABSTRACT

Inthebackdropofrapiddevelopmentincloudcomputingandcloud-nativetechnolo-

gies,traditionaldatabasesystemsarefacingperformancebottlenecksandarchitectural

challengesduetothecontinuousexplosivegrowthofdata.Particularlyintermsofscal-

abilityandusability,thetraditionalMassivelyParallelProcessing(MPP)architectureis

graduallybeingreplacedbythenewerStorageandComputeSeparation(SCS)architec-

ture.IntheSCSarchitecture,alldataisstoredinObjectStorageServices(OSS),which

decouplescomputingresourcesfromstorageresources,enhancingthedatabase’selasticity

andusability.AlthoughtheSCSarchitecturebringssignificantimprovementsandadvan-

tagesinmanyaspects,inpracticalapplications,readandwriteoperationstoOSSduring

databasequerieshavebecomeanewperformancebottleneck.Be