Spark3.x源码编译

简介

源码编译是我们定制化spark的前提，所以想成为一个高手那么就必须经历

开始

查看官网可以知道，编译需要maven 3.6.3，jdk 8 ,scala 2.12

maven下载地址

Index of /dist/maven/maven-3

scala下载地址

All Available Versions | The Scala Programming Language

spark下载地址

Index of /dist/spark

 安装包都准备好以后那么就开始安装了

tar -zxvf jdk-8u271-linux-x64.tar.gz

配置jdk环境变量

sudo vi /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/sbin

 source /etc/profile.d/my_env.sh

安装scala

tar -zxvf scala-2.12.0.tgz

sudo vi /etc/profile.d/my_env.sh

#SCALA_HOME
export SCALA_HOME=/home/bigdata/buildspark/scala-2.12.0
export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile.d/my_env.sh

安装maven

tar -zxvf apache-maven-3.6.3-bin.tar.gz

sudo vi /etc/profile.d/my_env.sh

#MAVEN_HOME
export MAVEN_HOME=/home/bigdata/buildspark/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin

source /etc/profile.d/my_env.sh

测试安装是否完成

mvn -version
scala -version
java -version

开始编译，参考官网参数

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=1g"

tar -zxvf spark-3.0.0.tgz

进入spark源码目录

cd spark-3.0.0

hadoop版本要和自己已安装好的hadoop版本相对应。命令表示生成的spark支持hadoop、hive、yarn

mvn -Pyarn -Phadoop-3.2 -Dhadoop.version=3.2.3 -Phive -Phive-thriftserver -DskipTests clean package

maven编译成功后，如果想要官网提供的那种二进制压缩包，则还需要输入以下命令

./dev/make-distribution.sh --name spark-hadoop3.2.3 --tgz -Pyarn -Phadoop-3.2 -Dhadoop.version=3.2.3 -Phive -Phive-thriftserver -DskipTests

等一会 以后