压缩
压缩是指将数据转换为比原来的格式占用空间更小的格式来存储,以达到减小存储空间
解压是压缩的反过程
Hadoop文件切片
Hadoop MapReduce是通过划分切片来处理得,这样就使得支持分割的压缩格式更适合Hadoop
针对ss.txt文件大小为300M
- 计算公式
computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M(Hadoop 1.x中块大小为64M) - 默认情况下,切片大小=blocksize
- 开始切,形成第1个切片:ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M(每次切片时,都要判断切完剩下的部分是否大于块的1.1倍,不大于1.1倍就划分一块切片)