Hadoop IPC 数据分帧和读写

数据通信中定界的方法

定长消息:通信双方发送的消息长度是固定的，接收者只需要简单地将数据读入对应的缓冲区中，就可以获得消息。
基于定界符:消息的结束由唯一标记指出，消息发送者在传输完数据后，添加一-个特殊的字节序列。这个特殊的标记不能在传输的数据中出现，接收者简单地扫描输入信
息并查找定界符，并将定位符前面的数据形成消息交给上层应用。
显式长度:在具体消息前面附加一一个固定大小的字段，指示该消息包含多少字节。接
收者首先以定长消息的方式接受长度字段，然后根据这个长度接收消息。

Hadoop IPC通信的定界方法

2019-11-20

BigData / Hadoop / Hadoop common / IPC

7 minutes read (About 999 words)

Hadoop 2.x

connections 用于保存ConnectionId到Connection的映射，位于org.apache.hadoop.ipc.Client中
1
private ConcurrentMap<Client.ConnectionId, Client.Connection> connections;
calls 当前正在处理的远程调用，位于org.apache.hadoop.ipc.Client.Connection中
1
private Hashtable<Integer, Client.Call> calls = new Hashtable();

shouldCloseConnection 连接关闭标志

1	private AtomicBoolean shouldCloseConnection = new AtomicBoolean();