IDEA里如何多种方式打jar包,然后上传到集群

关于IDEA里如何多种方式打jar包,然后上传到集群的问题?

  前期准备,就是在,IDEA里,maven来创建项目。这里不多赘述。

  1)用maven项目来打包,我推荐这个。 (强烈推荐,简单又快速)

Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)

  而且,还可以改名。比如我这篇博客里最后打好需要包括MyJavaWordCount.java和MyScalaWordCout.scala,默认名为test-spark-1.0-SNAPSHOT.jar,你自己可以更改,这个不是重点。

      2)如下,以下这种方式,看看就好,显得有点冗长。

 

 

  一般,我们,习惯将默认的D:CodeIntelliJIDEACodespark-helloworldsrcmainscala

 改为 D:CodeIntelliJIDEACodespark-helloworldsrc

  如下,不是maven创建出来的项目,到了这一步,需要如下。(我这里是manven,所以不需)

 

 

 name:spark-helloworld:jar

 Output directory: D:CodeIntelliJIDEACodespark-helloworldoutartifactsspark-helloworld_jar

 

 

 

 

 

 

 

   比如,我这里

[spark@sparksinglenode testspark]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/spark/testspark/words.txt hdfs://sparksinglenode:9000/

原文地址:https://www.cnblogs.com/zlslch/p/6505940.html