CDH-spark源码编译说明文档.docVIP

CDH-spark源码编译说明文档 编译CDH Spark源代码说明文档 本文以Cloudera维护的Spark分支项目为例，记录跟新Spark分支以及编译Spark源代码的过程。 编译环境说明 30上有CDH 5.3.0 Spark的源码以及编译环境，直接跳到使用maven编译即可： maven安装目录：/opt/maven/apache-maven-3.1.1； Maven repository：/root/.m2/repository； Spark源码：/app/data/spark/spark-cdh5-1.2.0_5.3.0-src 下载代码 在Github上fork Cloudera维护的 \t /2015/04/28/_blank Spark项目到自己的github账号里，对应的地址为 \t /2015/04/28/_blank /javachen/spark。 下载代码： $ git clone /javachen/spark 然后，切换到必威体育精装版的分支，当前为 cdh5-1.3.0_5.4.0。 $ cd spark$ git checkout cdh5-1.3.0_5.4.0 查看当前分支： ? git branch* cdh5-1.3.0_5.4.0 master $ mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.0 -Phive -DskipTests clean package 在CDH的spark中，要想集成hive-thriftserver进行编译，需要修改 pom.xml 文件，添加一行?sql/hive-thriftserver： modules modulecore/module modulebagel/module modulegraphx/module modulemllib/module moduletools/module modulestreaming/module modulesql/catalyst/module modulesql/core/module modulesql/hive/module modulesql/hive-thriftserver/module !--添加的一行-- modulerepl/module moduleassembly/module moduleexternal/twitter/module moduleexternal/kafka/module moduleexternal/flume/module moduleexternal/flume-sink/module moduleexternal/zeromq/module moduleexternal/mqtt/module moduleexamples/module /modules 然后，再执行： $ export MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m $ mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.0 -Phive -Phive-thriftserver -DskipTests clean package 运行测试用例： $ mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.0 -Phive test 运行java8测试： $ mvn install -DskipTests -Pjava8-tests 使用sbt编译 $ build/sbt -Pyarn -Dhadoop.version=2.6.0-cdh5.4.0 -Phive assembly 生成压缩包 $ ./make-distribution.sh 创建压缩包 编译完成后，会生成dist目录 $ cp ./dist ./spark-1.3.0-cdh5.4.0 $ tar cvfz spark-1.3.0-cdh5.4.0.tar.gz ./spark-1.3.0-cdh5.4.0 排错 Unable to find configuration file at location scalastyle-config.xml?异常 在idea中使用maven对examples模块运行package或者install命令会出现?Unable to find configuration file at location scalas