netty学习

1、不选择java原生nio的原因
   (1)nio的类库和api繁杂
   (2)需要具备其他的额外的技能做铺垫,例如熟悉java多线程编程。
   (3)可靠性能力补齐的工作量和难度都非常大,例如客户面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等问题。
   (4)jdk nio的bug,例如臭名昭著的epoll bug,它会导致Selector空轮询,最终导致cpu100%,虽然官方声称修复了该问题,但是直到jdk1.7版本,该问题还存在,只是bug几率降低了而已、
2、为什么选择netty
   (1)api使用简单,开发门槛低;
   (2)功能强大,预置了多种编解码功能,支持多种主流协议;
   (3)定制能力强,可以通过ChannelHandler对通信框架进行灵活的扩展;
   (4)性能高,通过与其他业界主流的nio框架对比,netty的综合性能最优;
   (5)成熟,稳定,netty修复了已经发现的所有jdk nio bug
   (6)社区活跃,版本迭代周期短,经历大规模商业应用的考验等;

    netty的简单示例,maven项目:http://yunpan.cn/cwGN7HydZ6tRs  访问密码 0624
3、TCP粘包和拆包问题
   (1)TCP是个“流”协议,所谓流,就是没有界限的一串数据,大家可以想想河里的流水,是连成一片的,其间并没有分界线。TCP底层并不了解上层业务数据的具体含义,它会根据TCP缓冲区的实际情况进行包的划分,所以在业务上认为,一个完整的包可能会被TCP拆分成多个包进行发送,也有可能把多个小的包封装成一个大的数据包发送,这就是所谓的TCP粘包和拆包问题。
   (2)粘包和拆包问题产生原因主要有以下原因:
          应用程序write写入的字节大小大于套接口发送缓冲区大小;
          进行MSS大小的TCP分段;
          以太网帧的payload大于MTU进行IP分片
   (3)问题解决主要有如下几种策略:
         消息定长,例如每个报文的大小为固定长度200字节,如果不够,空位补空格;
         在包尾增加回车换行符进行分割,例如FTP协议
         将消息分为消息头和消息体,消息头中包含表示消息总长度(或消息体长度)的字段,通常设计思路为消息头的第一个字段使用int32来表示消息的总长度;
         更复杂的应用层协议

    出现粘包/分包问题的示例,maven项目:http://yunpan.cn/cwGTLsjvYHsj8  访问密码 687b

    netty提供的三种解决粘包/分包问题的方法的maven项目:http://yunpan.cn/cwGiwLHgu3NLI  访问密码 bd18
4、java序列化问题
    (1)序列化的性能
    (2)序列化后的码流大小
    (3)无法跨语言
     正因为jdk自带的序列化和反序列化存在上面的问题,所以一般我们都不使用jdk自带的序列化
5、protobuf框架
     protobuf全称为Google Protocol Buffers,它将数据结构以.proto文件进行描述,通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性。
     它的特点如下:
        (1)结构化数据存储格式(xml,json等)
        (2)高效的编解码性能;
        (3)语言无关、平台无关、扩展性好;
        (4)官方支持JAVA、C++和Python三种语言
     首先我们来看下为什么不使用XML,尽管XML的可读性和可扩展性非常好,也非常适合描述数据结构,但是XML解析的时间开销和XML为了可读性而牺牲的空间开销都非常大,因此不适合做高性能的通信协议。        Protobuf使用二进制编码,在空间和性能上其有更大的优势。
     Protobuf另外一个比较吸引人的地方就是它的数据描述文件和代码生成几只,利用数据描述文件对数据结构进行说明的优点如下:
       (1)文本化的数据结构描述语言,可以实现语言和平台无关。特别使用异构系统间集成;
       (2)通过标识字段的顺序,可以实现协议的前向兼容
       (3)自动代码生成,不需要手工编写同样数据结构的C++和JAVA版本;
       (4)方便后续的管理和维护。相比于代码,结构化的文档更容易管理和维护。
6、JBoss Marshalling介绍
    JBoss Marshalling是一个java对象的序列化API包,修正了JDK自带的序列化包的很多问题,但又保持跟java.io.Serializable接口的兼容:同时增加了一些可调的参数和附加的特性,并且这些参数和特性可通过工厂类进行配置。
    相比于传统的java序列化几只,它的优点如下:
       (1)可插拔的类解析器,提供更加便捷的类加载定制策略,通过一个接口即可实现定制;
       (2)可插拔的对象替换技术,不需要通过继承的方式;
       (3)可插拔的预定义类缓存表,可以减小序列化的字节数组长度,提供常用类型的对象序列化性能;
       (4)无须实现java.io.Serializable接口,即可实现java序列化;
       (5)通过缓存技术提升对象的序列化性能。
7、WebSocket介绍
     HTTP协议的主要弊端总结如下:
         HTTP协议为半双工协议。半双工协议指数据可以在客户端和服务端两个方向上传输,但是不能同时传输。它以为着在同一时刻,只有一个方向上的数据传送
         HTTP消息冗长而繁琐。HTTP消息包含消息头、消息体、换行符等。 通常情况下采用文本方式传输,相比于其他的二进制通信协议,冗长而繁琐。
         针对服务器推送的黑客攻击,比如长时间轮询。
     在WebSocket API中,浏览器和服务器只需要做一个握手的动作,然后,浏览器和服务器之间就形成了一条快速通道,两者就可以直接互相传送数据了。WebSocket基于TCP双向全双工进行消息传递,在同一时刻,既可以发送消息,也可以接受消息,相比于HTTP的半双工协议,性能得到很大提升。
     WebSocket的特点主要有以下几点:
         单一的TCP连接,采用全双工模式通信;
         对代理、防火墙和路由器透明
         无头部信息、Cookie和身份验证
         无安全开销
         通过“ping/pong”帧保持链路激活
         服务器可以主动传递消息给客户端,不再需要客户端轮询

原文地址:https://www.cnblogs.com/yuyuj/p/4558114.html