大三寒假生活6

今天完成了实验三，跟着实验三把hadoop的内容复习了一下，还学习了spark的相关内容，但是还是没有战胜eclipse，明天继续奋战，并进行实验四。

（1）在 spark-shell 中读取 Linux 系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

 

$ cd /usr/local/spark
$./bin/spark-shell
scala>val textFile=sc.textFile("file:///home/hadoop/test.txt")
scala>textFile.count()

（2）在 spark-shell 中读取 HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； 

 

scala>val textFile=sc.textFile("hdfs://192.168.137.67:9000/user/hadoop/test.txt")
scala>textFile.count()

（3）编写独立应用程序，读取 HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过 sbt 工具将整个应用程序编译打包成 JAR 包，并将生成的 JAR 包通过 spark-submit 提交到 Spark 中运行命令。 

 

$ cd ~ 
$ mkdir ./sparkapp # 创建应用程序根目录
$ mkdir -p ./sparkapp/src/main/scala #创建所需的文件夹结构

 

在“~/sparkapp/src/main/scala”下建立一个名为 Shiyan.scala 的 Scala 代码文件

 

$ vim ./sparkapp/src/main/scala/Shiyan.scala

然后，在 Shiyan.scala 代码文件中输入以下代码：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object Shiyan{
 def main(args: Array[String]) {
 val logFile = " hdfs://192.168.137.67:9000/user/hadoop/test.txt"
 val conf = new SparkConf().setAppName("Shiyan")
 val sc = new SparkContext(conf)
 val logData = sc.textFile(logFile, 2)
 val num = logData.count()
 printf("行数为：", num)
 } 
}

然后进行打包

$ cd ~/sparkapp 
$ /usr/local/sbt/sbt package

生成的 JAR 包的位置为“~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar”。

对于前面 sbt 打包得到的应用程序 JAR 包，可以通过 spark-submit 提交到 Spark 中运行，命令如下： 

第一个命令会产生很多无用的信息，通常使用第二个提取有用信息。

$ /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar 

$ /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar  2>&1 | grep "行数为："