021 大数据中的数据类型

一：概述

1.数据类型

　　<key,value>频繁的在磁盘中进行读写，所以需要重新定义数据类型。

　　数据类型都实现Writable接口，以便使用这些类型对数据进行序列化，方便网络传输和文件存储。

2.基本数据类型

　　BooleanWritable

　　ByteWritable

　　DoubleWritable

　　FloatWritable

　　IntWritable

　　LongWritable

　　Text

　　NullWritable

3.数据类型中要实现的两种接口

　　1）.Writable

　　value必须实现。

　　write（）把每个对象序列化到输出流

　　readFileds（）是把输入流字节反序列化

　　

　　2）.WritableComparable

　　这个是一个新接口，将Writable与Comparable接口封装在一起形成的新接口。

　　key必须实现。

　　实现了两个接口。

　　

二：自定义数据类型

1.要求

　　User，Order类。

　　必须实现toString（），hashCode（），equals（）。

2.实现实例UserWritable

　　

3.实现实例OrderWritable

　　

三：完整代码

1.UserWritable

package com.senior.type;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.Writable;

public class UserWritable implements Writable{

    private int id;
    private String name;
    public UserWritable(){}
    public UserWritable(int id,String name){
        this.id=id;
        this.name=name;
    }
    public int getId() {
        return id;
    }
    public void setId(int id) {
        this.id = id;
    }
    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    //write
    public void write(DataOutput out) throws IOException {
        out.writeInt(id);
        out.writeUTF(name);        
    }
    //readFields
    public void readFields(DataInput in) throws IOException {
        this.id=in.readInt();
        this.name=in.readUTF();    
    }
    //toString
    @Override
    public String toString() {
        return "UserWritable [id=" + id + ", name=" + name + "]";
    }
    //hashCode
    @Override
    public int hashCode() {
        final int prime = 31;
        int result = 1;
        result = prime * result + id;
        result = prime * result + ((name == null) ? 0 : name.hashCode());
        return result;
    }
    //equals
    @Override
    public boolean equals(Object obj) {
        if (this == obj)
            return true;
        if (obj == null)
            return false;
        if (getClass() != obj.getClass())
            return false;
        UserWritable other = (UserWritable) obj;
        if (id != other.id)
            return false;
        if (name == null) {
            if (other.name != null)
                return false;
        } else if (!name.equals(other.name))
            return false;
        return true;
    }
    
}

2.OrderWritable

package com.senior.type;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

public class OrderWritable implements WritableComparable<OrderWritable>{
    private String orderId;
    private float price;
    public OrderWritable(){}
    public OrderWritable(String orderId,float price){
        this.orderId=orderId;
        this.price=price;
    }
    public String getOrderId() {
        return orderId;
    }
    public void setOrderId(String orderId) {
        this.orderId = orderId;
    }
    public float getPrice() {
        return price;
    }
    public void setPrice(float price) {
        this.price = price;
    }
        
    //write
    public void write(DataOutput out) throws IOException {
        out.writeUTF(orderId);
        out.writeFloat(price);        
    }
    //readFields
    public void readFields(DataInput in) throws IOException {
        in.readUTF();
        in.readFloat();        
    }    

    //compareTo
    public int compareTo(OrderWritable o) {
        int comp=this.getOrderId().compareTo(o.getOrderId());
        if(comp==0){
            return Float.valueOf(this.getPrice()).compareTo(Float.valueOf(o.getPrice()));
        }
        return comp;
    }
    
    //toString
    @Override
    public String toString() {
        return "OrderWritable [orderId=" + orderId + ", price=" + price + "]";
    }
    //hashCode
    @Override
    public int hashCode() {
        final int prime = 31;
        int result = 1;
        result = prime * result + ((orderId == null) ? 0 : orderId.hashCode());
        result = prime * result + Float.floatToIntBits(price);
        return result;
    }
    //equals
    @Override
    public boolean equals(Object obj) {
        if (this == obj)
            return true;
        if (obj == null)
            return false;
        if (getClass() != obj.getClass())
            return false;
        OrderWritable other = (OrderWritable) obj;
        if (orderId == null) {
            if (other.orderId != null)
                return false;
        } else if (!orderId.equals(other.orderId))
            return false;
        if (Float.floatToIntBits(price) != Float.floatToIntBits(other.price))
            return false;
        return true;
    }
    
    //
    
    
    
    

}