今天学习过程和小结
1.列举Linux常用命令
shutdown now Linux关机
rebot重启
mkdir
mkdir -p递归创建
vi/touth filename
rm -r filename删除文件
rm -rf file删除一个文件夹
vi编辑一个文件
i可编辑状态
esc-->:-->wq保存退出
q!不保存
wq!强制保存退出
ifconfig查看ip
pingip是否联通
cat查看文件内容
grep在文件中搜索某些内容
useradd增加一个用户
修改用户权限
chmod 读写权限777 filename
more
cp复制文件
mv移动文件，重命名
tar -zxvf解压缩
ls查看目录
ls -a查看隐藏文件。
pwd查看当前文件目录绝对路径
filewall:防火墙
service iptables start/stop/status/restart
修改网络配置文件
/etc/sysconfig/network-scripts/ifcfg-eth1
配置环境变量
/etc/profile
~/.bash_profile
/etc/profile.d/x.sh
java
export JAVA_HOEM=JAVA解压缩目录
export PATH=$JAVA_HOME/bin:$PATH
配置文件生效
soure -/.bash_profile
查看java安装目录
ecah $JAVA_HOME
hash函数特点是什么？
代码论道
字符串--->固定位数的hash值。
1.确定性
2.单向性
str---hash()--->hash值
3.防篡改
4.防碰撞
haprereduce分区默认实现
hash（key）%reduce task
hash实现：
SHA系列
MD系列
区块链
3.HDFS如何实现文件的存储
namenote存放文件原数据
接收客户端的请求。
操作原数据（修改文件名，打开文件，关闭文件、DataNode info）
DataNode
存储文件数据block.blocksize=128MB
发生心跳信息。将自身所有储存的block信息，健康状况发送给namenode。
4.HDFS副本存放机制？
block默认3份。
5.HDFS主要进程，yarn 的主要进程
namenote
datanote
Secondnamenote
资源导读框架
7.搭建伪分布式步骤
1.前置准备
java
tar --zxvf
配置环境变量
ssh
1.安装ssh服务器
openserver -ssh
2.ssh-keygen -t rsa
cd -/.ssh
id_rsa id_rsa.pub
cp id_rsa.pub authorized
130MB-->128MB block+2M block
HDFS
1.查看hdfs上的文件hdfs dfs -ls /查看文件
2.hdfs dfs -put 本地目录 /
3.查看hdfs上的文件内容 hdfs dfs -cat /
hdfs dfs -text /
4.在hdfs上创建目录，
hdfs dfs -mkdir /
5.递归创建目录
hdfs dfs -mkdir -p /test/a/b
6.递归查询目录
hdfs dfs -ls -p /test
7.将hdfs上的文件下载到本地。
hdfs dfs -get/hello.txt
8.将本地文件拷贝到hdfs上/test/a/b
hdfs dfs -copyFromLoacl hello.txt /test/a/b/h.text
9删除hdfs上的目录
hdfs dfs -rm -R /hello
10.删除hdfs上的文件
hdfs dfs -rm /hello.txt
遇到的问题
- 今天重新学习了Linux的基本命令，觉得还有很多常用的命令不熟悉，要继续加强记忆。
- 今天学了一个新的开发软件idea，还有很多不懂的地方，要多多练习。
3.对于用idea操作HDFS也很方便，但要学习如何调用方法。
学习技能思维导图
