安装Hadoop

作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

一. 安装Linux,MySql

  1. 安装Oracle VM VirtualBox虚拟机,创建并配置Ubuntu(64 bit) ,安装配置参考http://dblab.xmu.edu.cn/blog/337-2/

 

  2.安装Linux系统(Ubuntu)

   2.1 点击安装Ubuntu Kylin

 

  2.2 设置用户名、密码

  2.3 正在安装

 2.4 安装成功

 2.5 重启登录

 3.安装MySql

  3.1 更新软件源

  3.2 安装MySQL

 

  3.3 设置MySQL密码

 

   3.4 授权认证

 

 3.5 MySQL是否启动成功,LISTEN状态表示成功启动

 3.6 进入MySQL Shell界面

 3.7 显示数据库

 3.8 打开库,显示库中的表

 

 3.9 修改查看数据库的编码(vim编辑器或gedit文本编辑器添加行character_set_server=utf8)

 

二. windows 与 虚拟机互传文件

  1.安装VirtualBox增强功能包(VBoxGuestAdditions),通过验证

 

2.点击运行后,系统会自动安装,安装完成后要求重启系统

3.设置共享文件夹,我选择本机位置 D:Ubuntushare

4.完成共享文件夹的设置后,实现共享

三. 安装Hadoop

  1. 创建Hadoop用户

    1.1 创建Hadoop用户、设置密码并为Hadoop用户添加管理员权限

     1.2  切换至Hadoop登录

   1.3 登录后更新apt

 

  1.4 将Hadoop安装到/usr/local/, (sudo tar -zxf  /mnt/bdshare/hadoop-2.7.1.tar.gz  -C /usr/local),

   并改名为hadoop(sudo mv hadoop-2.7.1 hadoop

  1.5 修改文件夹权限

 1.6 检查是否hadoop是否可用

 2. SSH登录权限设置

   2.1 安装SSH,Ubuntu默认已经安装SSH client,需要另外安装SSH server

 

   2.2 安装后可用ssh localhost命令登录,但需要密码

 

   2.3 设置SSH无密钥登录

 

   2.4 SSH无密钥设置完成

  3. 安装Java环境

   3.1 安装jdk

 

   3.2 修改~/.bashrc文件,添加行export JAVA_HOME=/usr/lib/jvm/default-java

   3.3 使环境变量生效,检验变量值,Java环境安装成功

  4. 单机Hadoop安装配置

   4.1运行grep例子

 

   4.2 程序执行成功输出信息和程序执行结果

 

  5. 伪分布式Hadoop安装配置

   5.1 修改配置文件 core-site.xml 

 

   5.2 修改配置文件 hdfs-site.xml 

   5.3 文件配置完成后,执行NameNode格式化

 

   5.4 成功会有以下提示

 

   5.5 开启NameNode和DataNode的守护进程,若出现SSH提示,输入yes即可

   5.6 通过jps命令来判断是否启动成功(若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”)

 

   5.7 运行Hadoop伪分布式实例

 

 

   5.8查看结果

 

   5.9 将结果取回本地

   5.10 关闭Hadoop,再次启动Hadoop时,无需再对NameNode进行初始化,只要运行 ./sbin/start-dfs.sh

开启 NameNode 和 DataNode 守护进程即可

原文地址:https://www.cnblogs.com/wytai/p/10876111.html