Hadoop 压缩

压缩

压缩是指将数据转换为比原来的格式占用空间更小的格式来存储,以达到减小存储空间
解压是压缩的反过程

Hadoop文件切片

Hadoop MapReduce是通过划分切片来处理得,这样就使得支持分割的压缩格式更适合Hadoop

针对ss.txt文件大小为300M

  • 计算公式
    computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M(Hadoop 1.x中块大小为64M)
  • 默认情况下,切片大小=blocksize
  • 开始切,形成第1个切片:ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M(每次切片时,都要判断切完剩下的部分是否大于块的1.1倍,不大于1.1倍就划分一块切片)
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×