day11hadoop高可用和Hive

PS:视频一直就是在演示   高可用(比较偏运维一点)

PS:
Active是对外提供服务的，standBy是从属备用的；但是他们是怎样保证同步的数据的呢？一个运行中zookeeper上的第三方那个工具 qJournal
PS:什么时候感知到服务挂了呢，进行切换呢？就是使用zkfc技术

PS:namenode的安全模式

PS:Ferdaration是就是由多个HDFS构成。一般用的比较少

---------------------------Hive

1.1.1 什么是Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

PS:数据仓库，  如下图左边是一个网站，中间是相应的数据库，但是随着数据的增多，网站运行变得缓慢。这时，就会把一些不常用的表保存起来，比如订单表，他在数据库中保存的形式
是宽表，以不同的粒度和维度去保存，结构形式是星系或者雪花型

1.1.1 为什么使用Hive

  • 直接使用hadoop所面临的问题

人员学习成本太高

项目周期要求太短

MapReduce实现复杂查询逻辑开发难度太大

  • 为什么要使用Hive

操作接口采用类SQL语法，提供快速开发的能力。

避免了去写MapReduce，减少开发人员的学习成本。

扩展功能很方便。

PS:它可以使用sql去生成MapReduce程序，首先在HDFS文件中，不同的sql会得到不同的结构表。
在生成MapReduce程序上，Hive内部有一个编译器，会把SQL语言执行生成为MapReduce程序，而且内部会有一个表，记录着数据表的信息。

 

----------------------------------------------Hive的安装与体验-------

PS:Hive是一个工具不是集群。可以放在任何一台机器上

1.启动hdfs

2.上传jar包

解压文件、移除包、重命名文件夹

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps/

 

------------------------

其实，我们什么也不用配置就能启动hive，但是hive使用的是dubin数据库，所以我们使用mysql，测试mysql使用第一句

在hive/conf中创建hive-site.xml文件

根据上面配置文件需要classpath 的驱动包，hive的classpath在lib中

下图为上传以后，查找文件

 

PS:启动的时候一定要这样写，出现这个问题的原因就是hive 中jline比hadoop的版本要高，所以要替换hadoop中的jline（功能是提供命令行敲字符）

解决问题，删除，复制

----------------------------------Hive初体验

QQ: Linux中hive无法使用Delete和Backspace删除键

1.创建数据库，然后在hdfs中有个shizhan03.db的文件

2.在这个库里面创建 表格

1.编辑数据，上传到hdfs

2.创建库，查找上传后的数据

 PS: 后天执行的mapReduce

 -----------------------------------------概念

1.1 Hive与Hadoop的关系 

Hive利用HDFS存储数据，利用MapReduce查询数据

 

1.2 Hive与传统数据库对比

 

总结：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析

1.6.2 启动hive的方种形式

Hive交互shell

bin/hive

Hive thrift服务

 

 

启动方式，（假如是在hadoop01上）：

 启动为前台：bin/hiveserver2

 启动为后台：nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &

 启动成功后，可以在别的节点上用beeline去连接

 v 方式（1）

 hive/bin/beeline  回车，进入beeline的命令界面

 输入命令连接hiveserver2

 beeline> !connect jdbc:hive2//mini1:10000

 （hadoop01是hiveserver2所启动的那台主机名，端口默认是10000）

 方式（2）

 或者启动就连接：

 bin/beeline -u jdbc:hive2://mini1:10000 -n hadoop

接下来就可以做正常sql查询了

 

 ------------------------------------------

PS：加载数据还可以使用hadoop -fs put ，提交到某个位置

PS:
1.Hive在解析数据的时候， 符合格式的就自动解析出来，不符合的直接解析为NULL
2.外和内表在删除时结构会自动删除，但是外表的数据还在
3.分区  这个概念他是一个 伪字段，但是由于这些他会在数据查询的时候自动帮你查找，但是不是真正的字段数据
  作用：就是让你在统计的时候少统计一些数据，体现在数据上就是文件夹






 -----------------------分桶概念------------




PS:分桶的数据不适合 load进来，适合 select 的数据


---------------------------Join操作，不明白的话看文档--------------------------


关于hive中的各种join


准备数据
1,a
2,b
3,c
4,d
7,y
8,u


2,bb
3,cc
7,yy
9,pp



建表：
create table a(id int,name string)
row format delimited fields terminated by ',';


create table b(id int,name string)
row format delimited fields terminated by ',';


导入数据：
load data local inpath '/home/hadoop/a.txt' into table a;
load data local inpath '/home/hadoop/b.txt' into table b;



实验：
** inner join
select * from a inner join b on a.id=b.id;
+-------+---------+-------+---------+--+
| a.id  | a.name  | b.id  | b.name  |
+-------+---------+-------+---------+--+
| 2     | b       | 2     | bb      |
| 3     | c       | 3     | cc      |
| 7     | y       | 7     | yy      |
+-------+---------+-------+---------+--+




**left join
select * from a left join b on a.id=b.id;
+-------+---------+-------+---------+--+
| a.id  | a.name  | b.id  | b.name  |
+-------+---------+-------+---------+--+
| 1     | a       | NULL  | NULL    |
| 2     | b       | 2     | bb      |
| 3     | c       | 3     | cc      |
| 4     | d       | NULL  | NULL    |
| 7     | y       | 7     | yy      |
| 8     | u       | NULL  | NULL    |
+-------+---------+-------+---------+--+




**right join
select * from a right join b on a.id=b.id;




**
select * from a full outer join b on a.id=b.id;
+-------+---------+-------+---------+--+
| a.id  | a.name  | b.id  | b.name  |
+-------+---------+-------+---------+--+
| 1     | a       | NULL  | NULL    |
| 2     | b       | 2     | bb      |
| 3     | c       | 3     | cc      |
| 4     | d       | NULL  | NULL    |
| 7     | y       | 7     | yy      |
| 8     | u       | NULL  | NULL    |
| NULL  | NULL    | 9     | pp      |
+-------+---------+-------+---------+--+



**
select * from a left semi join b on a.id = b.id;
+-------+---------+--+
| a.id  | a.name  |
+-------+---------+--+
| 2     | b       |
| 3     | c       |
| 7     | y       |
+-------+---------+--+


------------------------------一个大数据广告项目的介绍





PS:
目的：广告商为了精准的对目标客户投放广告
分为三个：用户  、广告中介商 、 广告商
---------------------------------
   婷婷是一个女孩，她可以在各种广告提供商浏览数据，不同的提供商提供不同的广告。
当婷婷点击某个按钮以后，含有js代码。到中间商这一层之后，通过广告引擎来推送广告，可以是图片或者是视频
怎样确定婷婷这个女孩的需要呢？
   首先，在她浏览的大量数据中，会有各种数据，这个数据经过  图运算以后就会变得有联系，进而形成用户画像仓库。
最后广告推送引擎就是通过对婷婷这个人来进行判断的。








------------------------------Hive有内置函数


PS:自定义函数也都是套路，有模板


4.3 Hive自定义函数和Transform


PS :这些自定义函数就是和mysql类似的   select concat('','') from t_xx ;


当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。


4.3.1 自定义函数类别


UDF  作用于单个数据行，产生一个数据行作为输出。（数学函数，字符串函数）


UDAF（用户定义聚集函数）：接收多个输入数据行，并产生一个输出数据行。（count，max）



4.3.2 UDF开发实例


1、先开发一个java类，继承UDF，并重载evaluate方法








package cn.itcast.bigdata.udf


import org.apache.hadoop.hive.ql.exec.UDF;


import org.apache.hadoop.io.Text;



public final class Lower extends UDF{


public Text evaluate(final Text s){


if(s==null){return null;}


return new Text(s.toString().toLowerCase());


}


}









2、打成jar包上传到服务器


3、将jar包添加到hive的classpath


hive>add JAR /home/hadoop/udf.jar;


4、创建临时函数与开发好的java class关联








Hive>create temporary function toprovince as 'cn.itcast.bigdata.udf.ToProvince';









5、即可在hql中使用自定义的函数strip 


Select strip(name),age from t_test;


----------------------------------------我的实践--parseJson-------------------------------------




package cn.itcast.bigdata.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

import parquet.org.codehaus.jackson.map.ObjectMapper;

public class JsonParser extends UDF {

    public String evaluate(String jsonLine) {

        ObjectMapper objectMapper = new ObjectMapper();

        try {
            MovieRateBean bean = objectMapper.readValue(jsonLine, MovieRateBean.class);
            return bean.toString();
        } catch (Exception e) {

        }
        return "";
    }

}






package cn.itcast.bigdata.udf;

//{"movie":"1721","rate":"3","timeStamp":"965440048","uid":"5114"}
public class MovieRateBean {

    private String movie;
    private String rate;
    private String timeStamp;
    private String uid;
    public String getMovie() {
        return movie;
    }
    public void setMovie(String movie) {
        this.movie = movie;
    }
    public String getRate() {
        return rate;
    }
    public void setRate(String rate) {
        this.rate = rate;
    }
    public String getTimeStamp() {
        return timeStamp;
    }
    public void setTimeStamp(String timeStamp) {
        this.timeStamp = timeStamp;
    }
    public String getUid() {
        return uid;
    }
    public void setUid(String uid) {
        this.uid = uid;
    }
    @Override
    public String toString() {
        return movie + "	" + rate + "	" + timeStamp + "	" + uid;
    }


}




1.编写代码，上传jar


2.创建表格，导入数据










PS: UDF就是为了写适合的   特殊函数
------内置json转换函数



 





4.3.3 Transform实现


Hive的 TRANSFORM 关键字提供了在SQL中调用自写脚本的功能


适合实现Hive中没有的功能又不想写UDF的情况



使用示例1：下面这句sql就是借用了weekday_mapper.py对数据进行了处理.








CREATE TABLE u_data_new (


  movieid INT,


  rating INT,


  weekday INT,


  userid INT)


ROW FORMAT DELIMITED


FIELDS TERMINATED BY '	';



add FILE weekday_mapper.py;



INSERT OVERWRITE TABLE u_data_new


SELECT


  TRANSFORM (movieid, rating, unixtime,userid)


  USING 'python weekday_mapper.py'


  AS (movieid, rating, weekday,userid)


FROM u_data;









其中weekday_mapper.py内容如下








#!/bin/python


import sys


import datetime



for line in sys.stdin:


  line = line.strip()


  movieid, rating, unixtime,userid = line.split('	')


  weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()


  print '	'.join([movieid, rating, str(weekday),userid])









使用示例2：下面的例子则是使用了shell的cat命令来处理数据








FROM invites a INSERT OVERWRITE TABLE events SELECT TRANSFORM(a.foo, a.bar) AS (oof, rab) USING '/bin/cat' WHERE a.ds > '2008-08-09';










------------------------------------transform案例:

1、先加载rating.json文件到hive的一个原始表 rat_json
create table rat_json(line string) row format delimited;
load data local inpath '/home/hadoop/rating.json' into table rat_json;

2、需要解析json数据成四个字段，插入一张新的表 t_rating
insert overwrite table t_rating
select get_json_object(line,'$.movie') as moive,get_json_object(line,'$.rate') as rate  from rat_json;

3、使用transform+python的方式去转换unixtime为weekday
先编辑一个python脚本文件
########python######代码
vi weekday_mapper.py
#!/bin/python
import sys
import datetime

for line in sys.stdin:
  line = line.strip()
  movieid, rating, unixtime,userid = line.split('	')
  weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()
  print '	'.join([movieid, rating, str(weekday),userid])

保存文件
然后，将文件加入hive的classpath：
hive>add FILE /home/hadoop/weekday_mapper.py;
hive>create TABLE u_data_new as
SELECT
  TRANSFORM (movieid, rate, timestring,uid)
  USING 'python weekday_mapper.py'
  AS (movieid, rate, weekday,uid)
FROM t_rating;

select distinct(weekday) from u_data_new limit 10;








        

	      

	    

	  

	  

	    
      
        【推广】
        免费学中医，健康全家人
      
	  

    

    

          原文地址：https://www.cnblogs.com/bee-home/p/8472498.html