Hadoop基础-Protocol Buffers串行化与反串行化

　　　　　　　　　　　　　　　　　　　　Hadoop基础-Protocol Buffers串行化与反串行化

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

　　我们之前学习过很多种序列化文件格式，比如python中的pickle序列化方式（https://www.cnblogs.com/yinzhengjie/p/8531308.html），golang的Gob序列化方式（https://www.cnblogs.com/yinzhengjie/p/7807051.html），hadoop的SequenceFile序列化文件（https://www.cnblogs.com/yinzhengjie/p/9114301.html），Java内置的ObjectOutputStream序列化方式（https://www.cnblogs.com/yinzhengjie/p/8988003.html）等等。

　　当然，除了语言自己内置的序列化方式外，还有一些手动二进制编码的序列化文件，以及人性化可读格式的序列化文件，比如XMl，JSON，DOM，SAX，STAX，JAXB，JAXP等等，不过这些序列化方式都不是今天的主角，我今天要介绍的是Google公司在2008年就开源的一种序列化方式，即Protocol Buffers序列化。

一.Protocol Buffers 简介

1>.什么是 Protocol Buffers 

　　第一:A description language(一种描述语言);

　　第二：A complier（它是一个编译器）;

　　第三：A library（它是一种库）;

2>.Protocol Buffers 优点

　　第一：易于使用，高效的二进制编码；

　　第二：它是由谷歌公司研发的；

　　第三：简单高效的串行化技术，在2008公开该技术；

3>.支持跨语言

　　官方支持：Java, C++, and Python等等

　　非官方支持：C, C#, Erlang, Perl, PHP, Ruby等等

二.Protocol Buffers 代码生成

1>.创建emp.proto自描述文件(非java文件,具体内容如下)

package tutorial; 
option java_package = "tutorialspoint.com"; 
option java_outer_classname = "Emp2"; 
message Emp { 
    required int32 id = 1; 
    required string name = 2; 
    required int32 age = 3; 
    required int32 salary = 4; 
    required string address = 5; 
}

2>.将emp.proto（下载地址：链接：https://pan.baidu.com/s/1crYmFwI68kUnzwJgoyOdpw 密码：bh63）和protobufsrcprotoc.exe放在同一个文件夹

3>.编译emp.proto(protoc --java_out=. emp.proto)

4>.将"D:10.JavaIDEyhinzhengjieDataProtocolBuffers utorialspointcom"(这是我本地目录)下的Emp2.java放置在idea中，包名“tutorialspoint.com”

 

三.编写代码

1>.编写串行化代码

/*
@author :yinzhengjie
Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
EMAIL:y1053419035@qq.com
*/
package cn.org.yinzhengjie.protocolBuffers;

import tutorialspoint.com.Emp2;

import java.io.File;
import java.io.FileOutputStream;

public class MyProtocolBuffers {

    private static  final File protocolBuffers = new File("D:\10.Java\IDE\yhinzhengjieData\ProtocolBuffers\emp.protocolBuffers");


    public static void main(String[] args) throws Exception {
        protocolBuffersSerial();
    }
    /**
     * 定义序列化方式
     */
    public static void protocolBuffersSerial() throws Exception {
        long start = System.currentTimeMillis();
        FileOutputStream fos = new FileOutputStream(protocolBuffers);
        //注意，在序列化一个对象的时候，都是打点的方式设置的哟！在设置完毕后需要以".build"结束！
        Emp2.Emp emp = Emp2.Emp.newBuilder().
                setId(1).
                setName("尹正杰").
                setAge(18).
                setSalary(66666666).
                setAddress("北京").build();
        //我们循环写入数据
        for (int i = 0; i < 10000000; i++) {
            emp.writeTo(fos);
        }
        fos.close();
        System.out.printf("这是protocol Buffers序列化方式: 生成文件大小:[%d]，用时:[%d]
",protocolBuffers.length(),System.currentTimeMillis() - start);
    }
}

/*
以上代码执行结果如下：
这是protocol Buffers序列化方式: 生成文件大小:[280000000]，用时:[10960]
 */

　　执行以上代码后，在本地目录会生成一个文件如下：

2>.编写反串行化代码

/*
@author :yinzhengjie
Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
EMAIL:y1053419035@qq.com
*/
package cn.org.yinzhengjie.protocolBuffers;

import tutorialspoint.com.Emp2;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;

public class MyProtocolBuffers {

    private static  final File protocolBuffers = new File("D:\BigData\JavaSE\yinzhengjieData\ProtocolBuffers\emp.protocolBuffers");


    public static void main(String[] args) throws Exception {
        protocolBuffersSerial();
        protocolBuffersDeserial();
    }
    /**
     * 定义序列化方式
     */
    public static void protocolBuffersSerial() throws Exception {
        long start = System.currentTimeMillis();
        FileOutputStream fos = new FileOutputStream(protocolBuffers);
        //注意，在序列化一个对象的时候，都是打点的方式设置的哟！在设置完毕后需要以".build"结束！
        Emp2.Emp emp = Emp2.Emp.newBuilder().
                setId(1).
                setName("尹正杰").
                setAge(18).
                setSalary(66666666).
                setAddress("北京").build();
        //我们循环写入数据
        for (int i = 0; i < 2000000; i++) {
            emp.writeTo(fos);
        }
        fos.close();
        System.out.printf("这是protocol Buffers序列化方式: 生成文件大小:[%d]，用时:[%d]
",protocolBuffers.length(),System.currentTimeMillis() - start);
    }

    /**
     * 定义反序列化方式
     */
    public static void protocolBuffersDeserial() throws Exception {
        long start = System.currentTimeMillis();
        FileInputStream fis = new FileInputStream(protocolBuffers);

        Emp2.Emp emp = Emp2.Emp.parseFrom(fis);

        for (int i = 0; i < 2000000; i++) {
            emp.getId();
            emp.getName();
            emp.getAge();
            emp.getSalary();
            emp.getAddress();
        }
        System.out.printf("这是protocol Buffers反序列化方式: 生成文件大小:[%d]，用时:[%d]
",protocolBuffers.length(),System.currentTimeMillis() - start);
    }

}