Linux下，Hadoop环境的安装配置

d)关闭hadoop

./bin/stop-all.sh

    先关闭了jobtracker，其次关闭slave2上的tasktracker，然后关闭namenode，关闭datanode，最后关闭secondarynamenode

云计算&大数据

摘要: 1）安装Ubuntu或其他Linux系统： a)为减少错误，集群中的主机最好安装同一版本的Linux系统，我的是Ubuntu12.04。 b)每个主机的登陆用户名也最好都一样，比如都是hadoop，不然到最后启动hadoop时会出现不管你密码是否输入正确，都会提示权限不够的错误，如果你之前装系统时没注意到这个问题，可以之后在每个主机上都新建一个用户hadoop来实现，命令如下：增加hadoop用户：sudo adduser hadoop 把新加的hadoop用户，添加到admin组中，让其有sudo权限：sudo usermod -aG adm,sudo hadoop 切换到hado...阅读全文

posted @ 2013-06-02 19:59 人若无名阅读(25) | 评论 (0) 编辑

Hadoop体系结构介绍

摘要: HDFS和MapReduce是Hadoop的核心，整个Hadoop的体系结构主要是通过HDFS来实现分布式存储底层支持的，并且它会通过MapReduce来实现分布式并行任务处理的程序支持。首先介绍下HDFS的体系结构：HDFS采用了主从（master/slave）结构模型，一个HDFS集群是由一个namenode和若干datanode组成。其中namenode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作；集群中的datanode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分为若干个数据块，而且这若干个数据块存放在一组datanode...阅读全文

分类: 云计算&大数据

标签: Hadoop, 安装配置, Linux环境, Ubuntu