搭建Hadoop2.0

hadoop

Hadoop-0.20.2+ Nutch-1.2+Tomcat-7——分布式搜索配置

摘要: Hadoop-0.20.2+ Nutch-1.2+Tomcat-7——分布式搜索配置随着nutch的发展，各模块逐渐独立性增强，我从2.1到1.6装过来，也没有实现整个完整的功能。今天装一下nutch1.2，这应该是最后一个有war文件的稳定版本。1. 准备工作下载apache-nutch-1.2-bin.zip、apache-tomcat-7.0.39.tar.gz、hadoop-0.20.2.tar.gz。将下载的hadoop-0.20.2.tar.gz解压到/opt文件夹下。将下载的apache-nutch-1.2-bin.zip解压到/opt文件夹下。将下载的apache-tomcat阅读全文

posted @ 2013-04-15 18:28 aniuer 阅读(140) | 评论 (0) 编辑

搭建Hadoop2.0（三）自带实例运行

摘要: 1. 运行wordcount[7] Wordcount相当于helloword这样的程序，不必多说。在平台正常启动的情况下，建立input的文件夹和两个文件test1，test2，充填大量的“hello world”和“hello hadoop”。将input上传到hdfs上，命令为haoop fs –put /usr/lib/hadoop2.0.0-alpha/input/* input。然后在/share/hadoop/mapreduce下执行hadoop jar hadoop-mapreduce-examples-2.0.0-alpha.jar wordcount input outpu阅读全文

posted @ 2012-07-17 11:43 aniuer 阅读(1713) | 评论 (1) 编辑

搭建Hadoop2.0（二）hadoop环境配置

摘要: 1.Hadoop2.0简述[1]与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。 HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块，每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告，接受和处理Namenodes的命令。 YARN(新一代MapReduce)：在h..阅读全文

posted @ 2012-07-16 23:36 aniuer 阅读(5644) | 评论 (4) 编辑

搭建Hadoop2.0（一）系统环境基本配置

摘要: 1. 安装ubuntu10.04 为了和合作公司的产品匹配，选择了ubuntu10.04操作系统。安装方法如下：（1）安装vmware8.0. （2）新建一个虚拟机，选择“I will install the operation system later”。在Setting中的CD/DVD(IDE)选择加载ISO，然后安装。直接安装会导致进入不了图形界面。（3）虚拟机中的安装过程很漫长，在79%的时候死机一次。后来发现拔掉网线安装比较快。在95%时，又停顿很长时间，不过也有网友提到过这个问题，耐心等待即可。2. 用root账户登录 Ubuntu是很让人纠结的系统，为了避免误操作...阅读全文

posted @ 2012-07-06 13:42 aniuer 阅读(1141) | 评论 (2) 编辑