本周事情很多,学习的东西也比较杂,大体上分为两个部分,一个是HTML界面的编写,引入了Layui框架,另一个是hadoop的学习,这次主要谈一下hadoop。
感谢博主:https://www.cnblogs.com/wushenjiang 的帮助。
hadoop环境搭建需要使用虚拟机,我选择的是VMwareWorkstation。ubuntu版本选择的是18.04.5,关于Linux编写界面没有选择进入虚拟机开后台,而是选择MobaXterm进行辅佐实现。详细的配置过程参考提供的博主博客,因时间缘故本篇博客不会细说,主要讲的是学习到的几个东西。
首先是Linux命令,这周算是对以前学习的Linux进行了一次复习,重新打了很多Linux命令,附上截图:
其次是hadoop的简单操作命令:
最后是配置maven环境后使用java连接到HDFS,依然是参考分享的博主,附上测试代码和最终效果:
1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.fs.FileSystem; 3 import org.apache.hadoop.fs.Path; 4 import java.net.URI; 5 6 public class hadoop { 7 public static void main(String[]args) throws Exception { 8 FileSystem fs = getFileSystem(); 9 // 2.在hdfs上创建路径 10 fs.mkdirs(new Path("/1011/hadoop01/banzhang")); 11 // 3.关闭资源 12 fs.close(); 13 System.out.println("over"); 14 } 15 16 //若输出over且Web端有记录,则说明连接成功 17 private static FileSystem getFileSystem() throws Exception { 18 Configuration conf = new Configuration(); 19 return FileSystem.get(new URI("hdfs://192.168.132.128:9000"), conf, "hadoop01"); 20 } 21 22 }