7月10日day2总结

今天学习过程和小结

上午:

java项目建立方法,maven

Tomcat的部署和MySQL的安装与权限。

分配时中datanotenamenote

DataNode 作用

1Data Node以数据块的形式存储HDFS文件

2Data Node 响应HDFS 客户端读写请求

3Data Node 周期性向NameNode汇报心跳信息

4Data Node 周期性向NameNode汇报数据块信息

5Data Node 周期性向NameNode汇报缓存数据块信息

6Name Node根据汇报内容,修改NameNode的命名空间,同时向DataNode 返回指令,比如创建,删除和复制数据块指令,然后DataNode根据这些指令在本地进行创建,删除和复制数据块

下午:第一节

Hadoop安装配置

分布式配置

IO进程

.开头的都是隐藏那个目录

下午:第二节hdfs配置

跳不跳页面

下午:第三节(和大数据的关系--大数据读取也只能是这样)

字节流、字符流。转换

字节流

缓存区

字符串:main方法先入栈。string不可变,只能改指针指向。--拼字符串stringbuffer

buffer.append("a")

System.out.println(buffer.toString())线程安全

加锁防止其他线程进入。解锁。

加锁使用sychronized

多线程拼接字符串

stringbuilder常用

Hadoop的安装和配置,包括虚拟的分布式,用ssh连自己的IP不需要输入密码,在notepad++上更改两个xml文件

遇到问题总结

1.TomcatHadoop安装时都是导入压缩包然后解压,但是在MySQL时是用命令下载的。

2.Hadoopnamenodedatanode配置时老是出错,在格式化Hadoop服务以后,重新运行start-dfs.sh但是一直提示can't find。然后查阅资料后修改了开启dfs的命令。变成sh start-dfs.sh。然后登陆192.168.122.141:50070检测namenode正确

3.ssh在配置时,一开始忘记下载ssh配置文件了,这个也是用命令下载,yum命令。

学习技能思维导图

原文地址:https://www.cnblogs.com/kangy123/p/9292639.html