海量数据_Big_Data.pptxVIP

企业Big Data指南 – 方案架构与案例研讨企业Big Data指南 – 方案架构与案例研讨大数据(Big Data)时代来临Big Data 新量级、新处理模式、新企业智能People移动互联网Mobile InternetDevices物联网Internet of ThingsSensorsBig Data 要解决的问题 Velocity快速的数据流转ValueVolume海量的数据规模Variety多样的数据类型巨大的数据价值什么是半结构化/非结构化数据Web ClickstreamMachine / SensorDOC / MediaSocial MediaCall LogAppsLogBig Data 带来的挑战不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有 IT 的数据解决能量不同“看”数据的方式可视：结构化资料 15%DB/DW未视：半/非结构化数据 85%主管们看的战情数位仪表板，其实是残缺的…需要更高性价比的数据计算与储存方式10万 GB数据库数据仓库10万 TB计算更快 存储更省不同的数据管理策略15% 结构化的 DB/DW当我们想要扩充时，才发觉：架构只能 scale-up， scale-out 不易处理时间过长， time-to-value 受限成本过高， cost-efficiency 受限遗憾85%半/非结构化的Log / Web page / Email / PDF / Image / Full-text / MS-Office file 残缺超越企业现有 IT 的数据解决能量储存Storing每天几百 GB、 几 TB 的资料，且持续成长中计算Processing 在收数据的同时做必要的前置处理 (pre-processing)，并区分数据处理的优先等级 (prioritizing)如何有效的避免因硬件毁坏所导致的资料损毁管理Managing分析Analyzing如何从中挖掘出所关注事件的 pattern 或 behavior大数据的储存与处理/运算数据分享数据检索大数据储存大数据处理数据分析数据展现分布式存储横向扩容(Scale-out) 架构分布式软件架构并行计算框架Word Count Hit CountWord countHarry Porter (哈利波特)432,442Lord Voldemort (佛地魔)134,209Dumbledore (邓不利多)72,982Severus Snape (石内圤)28,252……...……………………………..Hit 812,490,299232,934,490198,283,00257,922,190……………………………...…………/category.screen?category_id=PLANTSJSESSIONID=S1FF9ADFF2/gp/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DERpf_rd_s=center-2pf_rd_r=1YN4ES7ZEV17ZRKA858Xpf_rd_t=101pf_rd_p=4631pf_rd_i=507846.tw/exep/prod/china/chinafile.php?item=Ctw/exep/prod/china/chinafile.php?item=Cfeds-issue-warning-unconven-sperm-donor-140811851.htmlLog file : 1.5TB / day什么是大数据处理 (Big Data Processing)什么是大数据处理 (Big Data Processing)String Truncation F//flower_store/.tw//atw/.tw/?/.tw/?/gp…………………………3rd partypre-defined ReportingIPActionTimeServerURL###……….………..……………….……..…….……….………..……………….……..…….Log file : 1.5TB / day0 - - [15/Nov/2011:00:07:45] GET /flower_store/product.screen?product_id=FL- 10/flower_store/category.screen?category_id=PLANTSJSESSIONID=SD7SL1FF9ADFF2 Mozilla/5.0 (X11; U; Linux i686; en-US; rv: