Spark教程2-Spark的Shark和SQL.pdfVIP

第2期Spark亚太研究院公益大讲堂 主题：Spark的Shark和SQL --在线讲座 分享1 ：Shark和SparkSQL原理剖析 分享2 ：Shark实战案例 分享3 ：SparkSQL实战案例 分享4 ：Shark和SparkSQL为什么如此之快？ Outline Shark和SparkSQL原理剖析 Shark实战案例 Spark SQL实战案例 Shark和SparkSQL为什么如此之快？ Apache Spark 2013 | Spark Summit 2013年12月2-3 日，旧金山； Hortonworks前CEO/CTO Eric14预测Spark成为大数 据生态圈中分享算法库的标准和通用平台；J.Freeman 的透明鱼利用Spark分析鱼脑；以及Databricks创始人 Patrick Wendell的Spark性能优化。 2014 | Spark Summit 2014年6月30 日到7月2 日，旧金山； DATABRICKS CLOUD ；  “Writing High Performance Spark Applications” 和“ElasticSpark: Building 1000 node elastic Spark clusters on Amazon Elastic MapReduce” ， Shark作者辛湜 Terminators of Shark Start from here ！ Why is Shark over ？ Spark VS Hadoop Spark SQL VS Shark Old ways Runtime Bytecode Generation Using Quasiquotes More ！ Shark vs Hive SharkHiveSpark Shark兼容Hive语法 Shark比Hive快很多！ Hive架构 Shark架构 Creat Table Cached Table CREATE TABLE … TBLPROPERTIES(“shark.cache”= “true”) AS SELECT … CREATE TABLE xxx_cached AS SELECT … Java原始数组：存储高效、GC友好 Cached Partitioned Table CREATE TABLE part_cached(key int, value string) PATITIONED BY (key int); Shark.cache.policy =shark.memstore2.CacheAllPlocy|LRUCach ePolicy|FIFOCachePolicy Shark.cache.maxSize=100 自定义shark.memstore2.CachePolicy Shark一般用法 ./bin/shark –i sql.hql 执行文件中的语句并进入客户端； 定时任务 SharkServer ./bin/shark –service sharkserver port ./bin/shark -h sharkserver-host -p sharkserver-port Shark to Spark SQL to RDD! Shark项目 Data from Sogou ，about 5g Data from Sogou Create Table Execution .bin/shark –f ./sogouTable.sql Select count(*) from SOGOU Result: Time-consumed: 8s