hbase、pig、hive配置与应用



------------------HBASE----------
[root@iClient~]#sudo yum install hbase                  #iClient安装Hbase客户端
[root@cMaster-]#sudo yum install hbase-master           #cMaster 安装主服务HMaster
[root@cSlave0~]#sudo yum install hbase-regionserver     #eSlave0安装从服务
[root@cSlavel~]#sudo yum install hbase-regionserver      #cSlavel安装从服务
[root@cSlave2~]#sudo yum install hbase-regionserver      #eSlave2安装从服务


4)配置Hbase编辑/etc/hbase/conf/hbase-site.xml将下面内容添加到configuration便笺切记iClient,cMaster,cSlave0~2这五台机器都要进行配置,且要求配置相同。
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cMaster:8020/hbase</value>       
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>cSlave0,cSlavel,cSlave2</value>
</property>


5)HDFS里新建Hbase存储目录
[root@iClient~]#sudo -u hdfs hdfs dfs -mkdir /hbase
[root@iClient~]#sudo -u hdfs hdfs dfs -chown -R hbase /hbase

6)启动Hbase集群
共分三步,即启动ZooKeeper集群(参考ZooKeeper部署),启动主服务HMaster和启动从服务HRegionServer。
[root@cMaster~]#sudo service hbase-master start    #cMaster开启主服务命令S
sudo service hbase
-regionserver start #cSlave0,cSlavel,cSlave2开启regionserver Hbase后动好后,在iClient上浏览蓄打井“cMaster:60010”,即可以看到Hbase的Web页面。 2.Hbase接口 [root@iClient~]#hbase shell #进入Hbase命令行 hbase(main):001:0>list #查看所有表 hbase(main):002:0>create 'member','id','personalAttr','socialAttr' #创建member表 hbase(main):003:0>list hbase(main):004:0>scan 'member' #查看member内容 hbase(main):005:0>put 'member','201401','personalAttr:name','aa' #向member表中插入数据 hbase(main):006:0>put 'member','201401','personalAtr:gender','0' hbase(main):007:0>put 'member','201401','personalAttr:age','21' hbase(main):008:0>put 'member','201401','socialAttr:edu','e0' hbase(main):009:0>put 'member','201401,'socialAttr:job', 'p3' hbase(main):010:0>put 'member','201401','socialAttr:imcome','m' hbase(main):011:0>scan 'member' hbase(main):012:0>disable 'member' #废弃member表 hbase(main):013:0>drop 'member' #删除member表 hbase(main):014:0>quit --------------------------- Pig------------------------ [root@iClient ~]# sudo yum install pig #只在iclient上安装 2.Pig访问接口 [root@iClient~]#sudo -u joe pig #进入joe用户的Pig命令行 grunt> help; #查看Pig操作 grunt>A=load 'input'; #载入待处理文件夹input grunt>B=foreach A generate flatten (TOKENIZE((chararray)$0)) as word; #划分单词 grunt>C=group B by word; #指定按单词聚合,即同一个单词到一起 grunt>D=foreach C generate COUNT(B),group; #同一个单词出现次数相加 grunt>store D into 'out/wc-19'; #将处理好的文件存入HDFS下/user/joe/out/wc-19 grunt> dump D into; #将处理结果D打印到屏幕 ------------------------------------------Hive----------------------- [root@iClient~]# sudo yum install hive #只在iclient上安装 (2)HDFS里新建Hive存储目录。 [root@iClient ~]#sudo -u hdfs hdfs dfs-mkdir /user/hive #HDFS里新建 Hive存储目录 [root@iClient~]#sudo -u hdfs hdfs dfs-chmod -R 1777 /user/hive #为目录设置适当权限 只需上述两步就可以直接使用Hive了,当然,也可以使用jps命令查看Hive进程。 2.Hive接口 [root@iClient~]#Hive #进入Hive命令行 hive>show functions; #获取Hhive所有函数列表 hive>describe function count; #查看count函数用法 首先为表准备数据,即在iClient目录“/root”下新建文件memberData并写入如下内容,注意记录间为换行符,字段间以Tab键分割。 201401 aa 0 21 e0 p3 m 201402 bb 1 22 el p2 1 201403 cc 1 22 e2 pl m hive>show tables; #查看当前 Hive仓库中所有表(以确定当前无member表) hive>create table member(id int,name string,gender tinyint,age tinyint,edu string,prof string,income string)row format delimited fields terminated by '; #使用合适字段与类型,新建member表 hive>show tables; #次查看,将显示member表 hive>load data local inpath '/root/memberData' into table member; #将本地文件memberData载入HDFS hive>select * from member; #查看表中所有记录 hive>select * from member where gender=1; #查看表中gender值为1的记录 hive>select * from member where gender=1 AND age=23; #查看表中gender值为1且age为23的记录 hive>select gender,count(*)from member group by gender; #统计男女出现总次数 hive>drop table member; #删除member表 hive>quit; #退出Hive命令行接口



原文地址:https://www.cnblogs.com/Raodi/p/11053236.html