Spark源代码导读02.pdfVIP

Spark源代码导读 第2周 DATAGURU专业数据分析社区 Spark源代码导读 讲师冰风影 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教学资料 ，所有资料只能在课程内使用，不得在课程以外范围散 播，违者将可能被追究法律和经济责任。 课程详情访问炼数成金培训网站 DATAGURU专业数据分析社区 Spark源代码导读 讲师冰风影 Spark源代码导读  WordCount  SparkContext  Spark RDD DATAGURU专业数据分析社区 Spark源代码导读 讲师冰风影 Spark源代码导读 /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val logFile = file:///home/jifeng/code/spark-1.4.0/README.md val conf = new SparkConf().setAppName(Scala Application) val sc = new SparkContext(conf) val file=sc.textFile(logFile) val count=file.flatMap(line=line.split( )).map(word=(word,1)).reduceByKey(_+_) count.collect() count.saveAsTextFile(file:///home/jifeng/code/out/bb) } } DATAGURU专业数据分析社区 Spark源代码导读 讲师冰风影 Spark源代码导读 SBT打包 目录结构： ./simple.sbt ./src ./src/main ./src/main/scala ./src/main/scala/SimpleApp.scala cat simple.sbt name := Simple Project version := 1.0 scalaVersion := 2.10.4 libraryDependencies += org.apache.spark %% spark-core % 1.4.0“ 命令: sbt package DATAGURU专业数据分析社区 Spark源代码导读 讲师冰风影 Spark源代码导读 运行方式： 1: spark-shell ./bin/spark-shell --executor-memory 1g --driver-memory 1g --master spark://feng03:7077 2 ：spark-submit ./bin/spark-submit --class SimpleApp --master spark://feng03:7077 /home/jifeng/code/simple/target/scala-2.10/simple-project_2.10-1.0.jar