HADOOP__PIG安装与配置

PIG安装与配置

前提

  已成功安装好Hadoop集群。

  详见:http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html

  以下只在一个结点做,PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。

安装要求:

  Server节点要求。

  ①已安装JDK。

  ②已有HADOOP目录,并且其中的maters,slaves文件已做好配置.

  (最好可以直接拷贝集群中一个节点的HADOOP目录)

  PIG安装是比较容易的,相对于其他项目而言。

(一)下载解压PIG

  Pig下载路径,下载0.9.2(之前尝试了其他版本报错了:failed to create DataStorage尝试比较低的版本,

  详见:http://www.cnblogs.com/freeideas/archive/2013/04/22/3036690.html

http://apache.dataguru.cn/pig/pig-0.9.2/pig-0.9.2.tar.gz

  将下载好的文件放到 /usr/hadoop/目录下并解压:

tar -zxvf pig-0.9.2.tar.gz

(二)配置PIG环境

  配置用户的环境变量:

vi ~/.bash_profile

  添加如下内容:

PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
HADOOP_HOME=/usr/hadoop

export PATH
export HADOOP_HOME

  为什么这么设置: 将PIG的bin目录添加到PATH中,可以直接在shell中敲入PIG命令进入程序,而非进入目录再执行。PIG在执行的时候会自动读取当前环境变量中的  HADOOP_HOME,从找到对应的HADOOP目录,也会读取JAVA_HOME来找到要使用的JAVA环境。
  注意:
  如果JDK没有在/etc/profile中export的话,请在此处做一次export(JAVA_HOME是PIG中必须的一个变量)。

JAVA_HOME=/usr/jdk
export JAVA_HOME

  做好配置之后:

source ~/.bash_profile

  来执行这个文件,使刚配置好的环境变量生效

(三)运行PIG

  在shell中:

pig -x local

  进入本地模式

  之间键入:

pig

  进入集群模式

原文地址:https://www.cnblogs.com/freeideas/p/3036668.html