Linux基本配置

CentOS大数据基本配置

标签（空格分隔）： Linux

一）安装软件

#安装vsftpd
yum -y install openssh vsftpd
#启动vsftpd
service vsftpd start
chkconfig vsftpd on

二）设置网络

#修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=shop.madman.com

#修改网卡
vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=none
IPADDR=192.168.18.132
NETMASK=255.255.255.0
GATEWAY=192.168.18.2
DNS1=202.96.209.5
DNS2=8.8.8.8
#自动激活网卡
ONBOOT=Yes

#关闭防火墙
service iptables stop
chkconfig iptables off
#关闭SELINUX	
vi /etc/sysconfig/selinux
SELINUX=disabled  enforing 
#设置hostname
vi /etc/hosts	
127.0.0.1   shop.madman.com
::1         shop.madman.com
192.168.18.132 shop.madman.com

三）设置时间同步

#显示时区
date --help #获取帮助
date -R
date +%z
#修改时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
#同步时间命令
ntpdate asia.pool.ntp.org 
#启动时间服务
service ntpd start
# 自动同步时间crontab -e加入
0-59/10 * * * * /usr/sbin/ntpdate asia.pool.ntp.org 
#重启crond服务区
service crond restart

三）拷贝jdk和hadoop

# 建立目录
mkdir /opt/modules
#设置目录权限
chown -R hadoop:hadoop /opt/modules 
cp jdk-7u67-linux-x64.tar.gz /opt/modules
cp cp hadoop-2.5.0.tar.gz /opt/modules/   
cd /opt/modules
tar zxvf jdk-7u67-linux-x64.tar.gz
tar zxvf hadoop-2.5.0.tar.gz

#设置JDK环境
vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export CLASSPATH="$CLASSPATH:$JAVA_HOME/lib"
export PATH="$PATH:$JAVA_HOME/bin:$M2_HOME/bin"
#测试JDK是否安装成功
java -version

设置JDK和maven环境

vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export CLASSPATH="$CLASSPATH:$JAVA_HOME/lib"
export M2_HOME=/opt/modules/apache-maven-3.3.9
export PATH="$PATH:$JAVA_HOME/bin:$M2_HOME/bin"

设置maven目录

/opt/modules/repository

###四）Java运行环境
```shell
#修改hadoop-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67

#修改yarn-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67

#修改mapred-env.sh
JAVA_HOME=/opt/modules/jdk1.7.0_67

五）修改IP地址服务

#!/bin/bash
if [ $# != 2  ]
then
 echo "please input ip address && host name"
 exit 0
fi

newaddress=`grep '1"$' /etc/udev/rules.d/70-persistent-net.rules | awk '{ print $4 }'|awk -F '"' '{ print $2 }'`
sed -i '7,8d' /etc/udev/rules.d/70-persistent-net.rules

echo -e "DEVICE=eth1
BOOTPROTO=static
HWADDR=$newaddress
IPV6INIT=no
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.$3.$1
NETMASK=255.255.255.0
GATEWAY=192.168.$3.2
USERCTL=yes
DNS1=192.168.$3.2

DNS1=202.96.209.5" > /etc/sysconfig/network-scripts/ifcfg-eth1
rm -f /etc/sysconfig/network-scripts/ifcfg-eth0

echo -e "127.0.0.1 $2
::1 $2
192.168.253.$1 $2" > hosts
mv /home/sjf/hosts /etc/hosts

echo -e "127.0.0.1 $2
::1 $2
192.168.253.$1 $2" > hosts
mv /home/sjf/hosts /etc/hosts

echo "change mac address finished"

DEVICE 接口名（设备,网卡）
USERCTL [yes|no]（非root用户是否可以控制该设备）
BOOTPROTO IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
HWADDR MAC地址
ONBOOT 系统启动的时候网络接口是否有效（yes/no）
TYPE 网络类型（通常是Ethemet）
NETMASK 网络掩码
IPADDR IP地址
IPV6INIT IPV6是否有效（yes/no）
GATEWAY 默认网关IP地址
BROADCAST 广播地址
NETWORK 网络地址
=可参照下面的例子==
DEVICE=eth0
BOOTPROTO=static
BROADCAST=192.168.1.255
HWADDR=00:0C:2x:6x:0x:xx
IPADDR=192.168.1.23
NETMASK=255.255.255.0
NETWORK=192.168.1.0
ONBOOT=yes
TYPE=Ethernet

六）屏蔽ipv6

Centos 6 关闭ipv6 在 /etc/modprobe.d/dist.conf增加如下内容
alias net-pf-10 off
alias ipv6 off
此步可以禁止ipv6，但重启网络会提示报错FATAL: Module off not found.
解决方法如下:

将/etc/modprobe.d/dist.conf 文件中 alias ipv6 off 替换成 options ipv6 disable=1
/etc/sysconfig/network 新增如下一行
NETWORKING_IPV6=off
关闭iptables的ipv6
chkconfig ip6tables off

七)配置SSH密码登录

#修改hosts文件
vi /etc/hosts
192.168.47.181 s1.hd.com
192.168.47.182 s1.hd.com
192.168.47.183 s1.hd.com

#安装软件
yum install openssh-server
#生成秘钥,注意全部回车
ssh-keygen -t rsa    
#同步拷贝
ssh-copy-id hadoop@s1.hd.com
ssh-copy-id hadoop@s2.hd.com
ssh-copy-id hadoop@s3.hd.com

八）安装sublime_text

wget http://c758482.r82.cf2.rackcdn.com/sublime_text_3_build_3083_x64.tar.bz2