20210413---想想安志航

自从清明节4.2开始,到今天已接近10天,一直处于很消极的状态中。

不过这些真的毫无意义,一个人对努力以外的事情想得越少,他就心情越好。

但能决定他未来的只有每天做了多少事情,达到了多少效果,而不是感动自己,我现在就是在感动自己。所以我以后要时刻关注自己每天做了多少事。

接下来怎么做:【想想安志航,在你BB的时候,黄哥已经写了好多道题了。挨着航哥的时候是我学习成绩提高最快的时候,我真的想他。  学了就马上去操作,看概念永远不会,都是抽象的东西。】

  1. 珍惜每一分每一秒,不要白白浪费任何一分钟的时间,都要有所学或者玩也要玩的有意义。
  2. 只关注自己这一分钟,这一个小时,我做了多少事。我是不是一个高效率的人,我享受我的思考带来的成就感。
  3. 有一颗大心脏,不要考虑自己能不能成功、不要考虑别人有多少背景,这些都不是主观因素,考虑它没有任何意义。
  4. 不要害怕失败,勇敢尝试
  5. 多学多练,不要怕重复,重复很多次你才能熟悉。
  6. 时刻监视自己每个时间段学了啥,实操了啥
  7. 学会一点是一点,这才是踏实赚钱的方法。买球只是投机,买球是个不错的爱好,也许某一天可以发财,但绝对不是两三年之内。
  8. 总结永远比埋头学重要的多,当你学完都不知道自己学了什么,效率是多少,几个月之内能不能学完,无法精准把控进度,那你还做什么项目管理,做什么考研计划,做什么换工作计划。
  9. 一个有能力的人,先要精准把控时间,也许这让你感觉不那么自由。但真正的自由可能就是这个,因为你有能力了,你可以选择想要什么。
  10. 今天起做一个实干家,在别人还在计划时候就开始行动。在别人还在想天下掉馅饼的时候,就已经做完了一天的工作。总结比你学要重要的多,因为很容易学完不知道学了啥,不明确重点和典型应用。

Let‘s go!

记录下自己学会了什么: 

1. 14:30-15:00 可以学半小时

我学会了什么:免密登录配置完成,就这么简单!

现在把公钥分发给101 102 103机器,我从101可以免密登录这些机器了,但还做不到反向互通。直接xsync ./ssh把私钥分发给其他机器就可以了,这样可以双向互通。

随笔记录:上次是到分发集群脚本了--》~目录下生成秘钥,默认保存在/home/atguigu/.ssh---》./ssh还是个隐藏目录

2.16:10-16:50 可以学40分钟

我学到了什么:配置了hadoop所需的文件,按下面的结构配置了namenode secondarynamenode resourceManager的位置。还启动了namenode。

随手记录:

 这样来配置,以及启动各节点服务。

原则:1.NameNode和SecondaryNameNode不要安装在同一台服务器
2.ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置

core-site:指定namenode位置

yarn-site:指定RM位置

hdfs-site:指定SecondaryNamenode位置

mapred-site:指定mapreduce框架用yarn(二代MR)
分发配置文件夹---》 查看 ---> 撰写 ---> 撰写窗格,可以用xshell向多个终端发一个命令。----》hadoop namenode -format成功--》workers还没配,不知道是干嘛的。

18:15-18:30

我学到了啥:你要根据你的架构安排,在namenode节点启动start-dfs.sh,在ResourceManager节点启动start-yarn.sh,不能都在一个节点启动。

jps:java process

启动集群步骤总结:

1.只有第一次启动,需要hadoop namenode -format

2.在namenode所在节点,启动hdfs

3.在RM节点,启动yarn

各个服务组件逐一启动/停止
(1)分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
(2)启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager
2)各个模块分开启动/停止(配置ssh是前提)常用
(1)整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh
(2)整体启动/停止YARN
start-yarn.sh/stop-yarn.sh

配置历史服务器:

为了查看程序的历史运行情况

web UI:http://hadoop102:19888/jobhistory

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。

20:20-21:00

原文地址:https://www.cnblogs.com/gen2122/p/14653099.html