2019-11-16

BigData / Hadoop / Hadoop_common

19 minutes read (About 2840 words)

配置文件

Windows操作系统配置文件

配置设置文件（INI）文件是windows操作系统中的一种特殊的ASCII文件，以ini为文件扩展名,作为它的主要文件配置文件标准。该文件也被称为初始化文件initialization file和概要文件profile。
应用程序可以拥有自己的配置文件，存储应用设置信息，也可以访问windows的基本系统配置文件win.ini中存储的配置信息

INI配置信息分为两部分

节，节标题放在方括号中, [section]

项，一个等式，key=value

;注释

;节 
[section]  

;参数（键=值） 
name=value

INI文件片段

[0x0419]
1100=Ошибка инициализации программы установки
1101=%s
1102=%1 Идет подготовка к запуску мастера %2, выполняющего установку программы.  Ждите.

2019-11-16

BigData / Hadoop / Hadoop_common

4 minutes read (About 551 words)

Hadoop通信机制和内部协议之协议

概述

MapReduce核心协议

名称	描述
ClientProtocol	继承于Version基类，查看作业情况监控当前集群等
RefreshUserMappingProtocol	刷新用户到用户组映射关系到超级用户代理组列表
RefreshAuthorizationPolicyProtocol	刷新HDFS和MapReduce服务几倍访问控制列表
ResourceManagerAdministrationProtocol	继承于GetUserMappingProtocol基类，刷新队列列表，节点列表

2019-11-16

BigData / Hadoop / Hadoop_common

10 minutes read (About 1530 words)

Hadoop通信机制和内部协议之RPC

Hadoop RPC

RPC简介

简要地说，RPC就是允许程序调用位于其他机器上的过程(也可以是同一台机器的不同进程)。
RPC调用过程是透明的

传统过程调用：传统的过程调用中，主程序将参数压人栈内并调用过程，这时候主程序停止执行并开始执行相应的过程。被调用的过程从栈中获取参数，然后执行过程函数;执行完毕后，将返回参数入栈(或者保存在寄存器里)，并将控制权交还给调用方。调用方获取返回参数，并继续执行。

而RPC调用是进程间的过程调用

RPC模型

通行模块： 请求-响应
Stub程序： 用于保证RPC的透明性。在客户端，不在本地调用，而是将请求信息通过网络模块发送给法服务器端，服务器接收后进行解码。服务器中，Stub程序依次进行解码（请求的参数）、调用相应的服务过程、编码返回结果等处理
调度程序： 调度来自通行模块的请求信息，根据其中标识选一个Stub程序运行
客户程序： 请求发出者
服务过程： 请求接收者

2019-11-16

BigData / Hadoop / Hadoop_common

16 minutes read (About 2447 words)

hadoop序列化

序列化介绍

序列化是一种将对象的状态信息转化成可以存储或者传输的过程，与之相反的为反序列化
不是某一种编程语言所独有的特性
序列化的用途

作为一种持久化格式。对象序列化后存盘
作为一种通信的数据格式。如虚拟机之间通信
作为一种拷贝、克隆机制。放缓存

Java序列化

Java通过实现Serializable接口
Java序列化后放入对象，通过对象流进行IO操作，ObjectInputStream/ObjectOutputStream

import java. io.Serializable ;

／＊＊定义一个可以序列化的 App 信息类. */
public class Appinfo implements Serializable{
	／／序列化标识
	private static final long serialVersionUID = 11 ;
}

配置文件

Windows操作系统配置文件

Hadoop通信机制和内部协议之协议

概述

Hadoop通信机制和内部协议之RPC

Hadoop RPC

RPC简介

RPC模型

hadoop序列化

序列化介绍

Java序列化

Links

Categories

Recent

Archives

Tags

Recent

Archives

Tags

Your browser is out-of-date!