基于spark实时交易数据分析.docxVIP

目录

TOC\o1-2\h\u

摘要 1

Abstract 2

第1章绪论 3

1.1研究背景 3

1.2国内外研究现状 4

第2章相关理论技术 4

2.1PureMVC 4

2.2元数据理论 5

2.3Spark 5

第3章需求分析 5

3.1分析系统需求 6

3.2分析系统可行性 6

第4章系统设计 6

4.1系统架构规划 6

4.2程序设计思想与原则 7

4.3页面功能设计 7

4.4系统详细设计 8

第5章系统实现 10

5.1代码开发规范 10

5.2系统登录和首页 11

5.3输入模型管理 11

第6章结论 12

致谢 13

参考文献 14

PAGE

PAGE12

摘要

随着经济的不断增长，我国各方面的水平也得到了很大的提升，特别是在生产方面的提升，我们的生产方式不在是以传统的生产方式为主，生产方式从传统的模式转变为自动生产为主，利用spark技术数据分析就是其中之一，而且对于这些数据的分析，被运用得越来越广泛。spark技术其实是一个数据分析的框架，利用spark技术，能够为我们减少一系列的麻烦，提高了我们的工作效率，利用spark技术，我们可以根据自己的需求，来设置我们所需要的数据进行分析，spark技术的设计主要有四个模块，分别是：数据源、输入模型、模型训练及校对和日志查看。本文通过对spark的实时交易数据平台设计进行分析，从spark的实时交易数据平台设计出发，针对设计spark的实时交易问题，得出了以下结论和参考意见。

关键词：生产方式；spark技术；数据分析；实时交易

Abstract

Withthecontinuousgrowthoftheeconomy,thelevelofvariousaspectsofourcountryhasbeengreatlyimproved,especiallyinproduction,ourproductionmodeisnotthetraditionalproductionmode,productionmodefromthetraditionalmodetoautomaticproduction,usingsparktechnologydataanalysisisoneofthem,andfortheanalysisofthesedata,isusedmoreandmorewidely.Thesparktechnologyisactuallyadataanalysisframework,usingsparktechnology,canreduceaseriesoftrouble,improveourworkefficiency,usingsparktechnology,wecansettherequireddataanalysisaccordingtoourneeds,sparktechnologydesignmainlyhasfourmodules,respectively:datasource,inputmodel,modeltrainingandproofreadingandlogview.Throughanalyzingthedesignofthereal-timetradingdataplatformofspark,wedrawthefollowingconclusionsandreferenceopinionsbasedonthedesignofspark,andstartingfromthereal-timetradingdataplatformdesignofspark.

Keywords:productionmode;sparktechnology;dataanalysis;real-timetrading

第1章绪论

spark技术通过数据分析，就会实现透明化，因为通过spark技术，对于客户来说就比较透明。随着经济的发展，我们在很多领域中也得到了提升，经济基础决定上层建筑，只有把经济发展好，我们才能在其它领域发展起来，而我们的生产方式也得到了改变，就比如说数据分析一样，最初的时候，我们对于数据分析都是利用记录的方式，通过人工来完成，而现在，数据分析