hadoop伪分布式相关配置一

准备

  • linux系统的虚拟机一台(centos或者ubuntu都可以,centos建议7以上)
  • 安装sftp软件,如mobaxterm等等
  • 修改IP为静态IP
  • 关闭防火墙
  • 配置自己的用户具有root权限
  • jdk1.8和hadoop的gz包
  • 配置主机名与IP地址的映射

关于此处的配置推荐大家一篇博客,个人感觉还是很详细,当然最好有些linux基础,不然很容易出问题

https://www.cnblogs.com/wushenjiang/p/13526575.html

开始

首先在/opt下创建moudle和software文件夹

  • sudo mkdir module
  • sudo mkdir software

一般登陆的用户是没有权限的,所以 !sudo !

修改两个文件夹的所有者

  • $ sudo chown dashuai:dashuai module/ software/

这个用户名自己起就好,我的是dashuai

查询是否安装java软件

  • rpm -qa | grep java

如果安装了openjdk 先进行删除

  • sudo rpm -e 软件包

卸载完事后,用sftp软件将jdk的包(1.8+)上传到/opt/software下,然后命令解压

  • $ tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/module/

接下来配置jdk路径

  • pwd
  • /opt/moudle/jdk1.8.0_202
  • sudo vim /etc/profile
  • #JAVA_HOME
  • export JAVA_HOME=/opt/moudle/jdk1.8.0_202
  • export PATH=$JAVA_HOME/bin
  • source /etc/profile
  • java -version
  • java version "1.8.0_202

开始安装hadoop

  • $ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

将hadoop添加到环境变量

sudo vi /etc .profile

在文件末尾位置添加

export HADOOP_HOME=/opt/moudle/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

让修改的文件生效

source /etc/profile

运行hadoop

伪分布式:配置HFDS,请看下张

原文地址:https://www.cnblogs.com/2506236179zhw/p/13950900.html