Hadoop single Node cluster

目的:

本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);

先决条件:

支持的平台

  • GNU/Linux 可用作开发和生产平台. Hadoop 在2000台GNU/Linux 的集群上做过演示.
  • Windows 平台也是支持的, 下面的步骤仅对linux适用. 要在Windows上安装hadoop, 查看 wiki page.

所需软件:

在linux下,所需的软件如下:

  1. 必须安装JAVA. 推荐的JAVA版本请看 HadoopJavaVersions.
  2. 必须安装SSH, 并且sshd必须启动,Hadoop脚本用sshd来管理远程的Hadoop守护进程(daemons);

安装所需软件

如果你的集群上没有这些所需的软件, 那就需要先安装。

例如在Ubuntu linux上 :

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

下载

在 Apache Download Mirrors下载最新稳定的发布Hadoop版本

准备启动 Hadoop Cluster

解压下载的Hadoop包. 编辑文件 etc/hadoop/hadoop-env.sh 像如下一样修改配置:

  # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest

  # Assuming your installation directory is /usr/local/hadoop
  export HADOOP_PREFIX=/usr/local/hadoop

执行下面命令:

  $ bin/hadoop

显示Hadoop脚本的使用文档.

Now you are ready to start your Hadoop cluster in one of the three supported modes:

原文地址:https://www.cnblogs.com/zhonghan/p/3699916.html