语法	说明
${变量名#匹配规则}	从变量开头进行规则匹配，将符合最短的数据删除
${变量名##匹配规则}	从变量开头进行规则匹配,将符合最长的数据删除
${变量名%匹配规则}	从变量尾部进行规则匹配,将符合最短的数据删除
${变量名%%匹配规则}	从变量尾部进行规则匹配,将符合最长的数据删除
${变量名旧字符串/新字符串}	变量内容符合旧字符串则,则第一个旧字符串会被新字符串取代
${变量名旧字符串/新字符串}	变量内容符合旧字符串则，则全部的旧字符串会被新字符串取代

2019-11-30

BigData / Kafka

6 minutes read (About 826 words)

Kafka通信详情

2019-11-29

BigData / Kafka

13 minutes read (About 2022 words)

Kafka初识

kafka的设计主要目标

以复杂度O(1)的方式提供消息持久化能力，即使对TB级以上的数据也能保证常数的访问性能
高吞吐率，即使在非常廉价的商用机器也能做到单机支持秒100k条消息的传输
支持Kafka Server间消息分区，及分布式消费，同时保证分区内的消息顺序传输
支持离线的数据处理和实时数据处理
支持在线水平扩展

2019-11-24

DataMining

10 minutes read (About 1446 words)

十大经典算法的优缺点

KNN

优点：

理论成熟，实现简单

缺点：

当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数
计算量较大

2019-11-23 a few seconds read (About 0 words)

Python/python数据可视化/散点图

2019-11-21

Python / Python可视化

a few seconds read (About 0 words)

python可视化

2019-11-20

BigData / Hadoop / Hadoop common / IPC

2 minutes read (About 271 words)

Hadoop IPC 数据分帧和读写

数据通信中定界的方法

定长消息:通信双方发送的消息长度是固定的，接收者只需要简单地将数据读入对应的缓冲区中，就可以获得消息。
基于定界符:消息的结束由唯一标记指出，消息发送者在传输完数据后，添加一-个特殊的字节序列。这个特殊的标记不能在传输的数据中出现，接收者简单地扫描输入信
息并查找定界符，并将定位符前面的数据形成消息交给上层应用。
显式长度:在具体消息前面附加一一个固定大小的字段，指示该消息包含多少字节。接
收者首先以定长消息的方式接受长度字段，然后根据这个长度接收消息。

Hadoop IPC通信的定界方法

客户端->服务器端：显式长度
服务器->客户端：定长消息，通过Writable序列化

Shell有类型变量

Shell命令的替换

Shell的字符串处理

计算字符串的长度

Shell变量的替换和测试

变量的替换

Kafka通信详情

Kafka初识

kafka的设计主要目标

十大经典算法的优缺点

KNN

Python/python数据可视化/散点图

python可视化

Hadoop IPC 数据分帧和读写

数据通信中定界的方法

Links

Categories

Recent

Archives

Tags

Recent

Archives

Tags

Your browser is out-of-date!