简述：
MPTCP在发送数据方面和TCP的区别是可以从多条路径中选择一条
路径来发送数据。MPTCP在接收数据方面与TCP的区别是子路径对无序包
进行重排后，MPTCP的mpcb需要多所有子路径的包进行排序。查看图1可知。
+-------------------------------+
| Application |
+---------------+ +-------------------------------+
| Application | | MPTCP |
+---------------+ + - - - - - - - + - - - - - - - +
| TCP | | Subflow (TCP) | Subflow (TCP) |
+---------------+ +-------------------------------+
| IP | | IP | IP |
+---------------+ +-------------------------------+
Figure 1: Comparison of Standard TCP and MPTCP Protocol Stacks
数据序号映射(Data Sequence Mapping)
由于所有的数据会通过不同的子路径发送，在接收端MPTCP需要对数据进行重新排序。
因此我们需要数据序号映射。数据序号映射定义从子路径序列空间到数据序列空间的映射。
子路径的序列空间是子路径自身的序列号，而数据序列空间维护着所有需发送的数据。如下图
红色子路径上的子路径序号分别是1、2，其数据序号是1000、1002。而下面的蓝色的子路径上的子路径序号和
数据序号分别是200，1001。这说明从下面的蓝色子路径已经发送了199个报文，而上面的红色子路径才开始发送。
在MPTCP协议定义如下：
1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+--------------------------------------------------------------+
| |
| Data Sequence Number (8 octets) |
| |
+--------------------------------------------------------------+
| Subflow Sequence Number (4 octets) |
+-------------------------------+------------------------------+
| Data-Level Length (2 octets) | Zeros (2 octets) |
+-------------------------------+------------------------------+
内核中的实现：
函数mptcp_write_dss_mapping对 Data Sequeue Number 和 Subflow Sequence Number进行了赋值。实现如下：
"net/mptcp/mptcp_output.c" line 318 of 1667 318 static int mptcp_write_dss_mapping(struct tcp_sock *tp, struct sk_buff *skb, 319 __be32 *ptr) 320 { 321 struct tcp_skb_cb *tcb = TCP_SKB_CB(skb); 322 __be32 *start = ptr; 323 __u16 data_len; 324 325 *ptr++ = htonl(tcb->seq); /* data_seq */ 326 327 /* If it's a non-data DATA_FIN, we set subseq to 0 (draft v7) */ 328 if (mptcp_is_data_fin(skb) && skb->len == 0) 329 *ptr++ = 0; /* subseq */ 330 else 331 *ptr++ = htonl(tp->write_seq - tp->mptcp->snt_isn); /* subseq */ 332
第325行和331行分别对子路径序号和数据序号进行了赋值。
###
data_seq and subseq
The mapping is identify by the relative subflow seq, the data seq and
the data len. Basically, it means that isn+sub_seq->isn+sub_seq+len at
the subflow-level corresponds to data_seq->data_seq+len at the
connection-level.
the data len. Basically, it means that isn+sub_seq->isn+sub_seq+len at
the subflow-level corresponds to data_seq->data_seq+len at the
connection-level.
###
数据接收中的重组
内核使用三种队列接收数据，分别是：Backlog queue(sk->backlog)、Prequeue queue(tp->ucopy.prequeue)
和 Receive queue (sk->receeive_queue)。MPTCP的实现增加了一个新的队列out-of-order queue对于各个子路径
收到的数据进行重组。内核中 tcp_v4_rcv()的关键实现如下：
"net/ipv4/tcp_ipv4.c" line 1735 of 2581 1735 if (mptcp(tcp_sk(sk))) { 1736 meta_sk = mptcp_meta_sk(sk); 1737 1738 bh_lock_sock_nested(meta_sk); 1739 if (sock_owned_by_user(meta_sk)) 1740 skb->sk = sk; 1741 } else { 1742 meta_sk = sk; 1743 bh_lock_sock_nested(sk); 1744 } 1745 1746 ret = 0; 1747 if (!sock_owned_by_user(meta_sk)) { 1748 #ifdef CONFIG_NET_DMA 1749 struct tcp_sock *tp = tcp_sk(meta_sk); 1750 if (!tp->ucopy.dma_chan && tp->ucopy.pinned_list) 1751 tp->ucopy.dma_chan = net_dma_find_channel(); 1752 if (tp->ucopy.dma_chan) 1753 ret = tcp_v4_do_rcv(sk, skb); 1754 else 1755 #endif 1756 { 1757 if (!tcp_prequeue(meta_sk, skb)) 1758 ret = tcp_v4_do_rcv(sk, skb); 1759 } 1760 } else if (unlikely(sk_add_backlog(meta_sk, skb, 1761 meta_sk->sk_rcvbuf + meta_sk->sk_sndbuf))) { 1762 bh_unlock_sock(meta_sk); 1763 NET_INC_STATS_BH(net, LINUX_MIB_TCPBACKLOGDROP); 1764 goto discard_and_relse; 1765 } 1766 bh_unlock_sock(meta_sk);
从第1757和1760可以看出skb只进入meta的backlog和prequeue，而和子路径的sock没有什么关系。因此，我们得出包的入队操作如下：
1.进入meta_sk的backlog
2.进入meta_sk的prequeue
3.进入子路径的receive_queue
第1和2种入队操作后续操作和正常TCP一致，如果是第3种情况，后续将通过函数mptcp_queue_skb()进入tcp_sk(meta_sk)->out_of_order_queue。
结论：
1.MPTCP利用自身的Data Sequeue Number 和 Subflow Sequence Number进行了数据在各种子路径间的传输。此实现独立于TCP。
2.为了实现子路径的数据重组，MPTCP利用了队列out_of_order_queue。
问题：
1. DATA_ACK作用是？
The Data ACK is analogous to the behavior of the standard TCP
cumulative ACK -- indicating how much data has been successfully received (with no holes). The Data ACK specifies the next data sequence number it expects to
receive.