配置hadoop集群服务之一-系统环境配置

1、首先配置主机名和各机器域名:

(1)Vim /etc/hostname

起名字:

机器编号

用途:(计算,sds,  master)

部门:chx

集团名称.com

例子:haoxintest1.master.chx.com

 

 

(2)vim /etc/hosts

每台机器都要配

作用:进行域名互通

ip+域名

10.10.67.122 haoxintest1.master.chx.com

10.10.67.123 haoxintest2.master.chx.com

10.10.67.124 haoxintest3.master.chx.com

 

(3)vim /etc/selinux/config

修改:SELINUX=disabled

 

4)重启机器:reboot

修改端口号:

vim /etc/ssh/ssh_config

vim /etc/ssh/sshd_config

 

Tip:

 

iterm远程登陆服务器的方法:

ssh 账户名@ip地址 -p port

例子:ssh root@10.10.10.60 -p 60000

 

2、根用户下,创建haoxin用户:

useradd haoxin

visudo:配置spark用户的sudo权限

 

visudo. 

配置sudo权限:

root下面配置

spark ALL=(ALL)  NOPASSWD:ALL

 

reboot 重启一下机器,使得haoxin用户能够本机获得sudo权限;

 

3、vim /etc/ssh/ssh_config

vim /etc/ssh/sshd_config

修改端口等信息,保持端口统一;

 

 

4、系统环境配置/etc/profile;

配置HADOOPHiveSpark

 

JAVA_HOME=/usr/local/jdk
# HADOOP_HOME=/usr/local/cloud/hadoop
HADOOP_HOME=/data/cloud/deploy/src
CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME HADOOP_HOME
## Hive profile set
export HIVE_HOME=/usr/local/cloud/hive
export HIVE_CONF=$HIVE_HOME/conf
export PATH=$HIVE_HOME/bin:$PATH
## Spark profile set
export SPARK_HOME=/usr/local/cloud/spark
export SPARK_CONF_DIR=$SPARK_HOME/conf

本身自带包环境配置:

/hadoop/conf/hadoop-env.sh

/spark/conf/spark-env.sh

 

5、服务器上原生配置的修改:

(1)本机的vimrc修改位置:~/.vimrc或者/etc/vimrc

  本机的bash_profile修改位置:~/.bash_profile

(2)vimrc与bash_profile的区别

(3vimrc修改之后,调整的是编辑命令里面的内容;

(4bash_profile修改之后,调整的是命令模式里面的调动命令;

 

(5)服务器上面下载安装pip:  

  wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate

 

总结Tip

1、ip  a查寻服务器的ip和端口号

2、wq!是作为强制保存的命令;

3、Reboot作为机器重设置,所有的端口号和ip设置完以后,需要reboot生效

4known_hosts是slave登陆master做的一个密钥存储记忆;

原文地址:https://www.cnblogs.com/haoxinchen/p/9326927.html