MR中默认支持DEFLATE压缩格式，文件扩展名.defiate 和文本处理相同，不需要修改。 Gzip压缩：压缩率比较高，并且压缩/解压速度也比较快，且被hadoop本身支持，大部分Linux系统自带Gzip命令，使用方便，但是不支持切片。当每个文件压缩之后在130M以内，都可以考虑用Gzip压缩，如一天或一个小时的日志。 Bzip2压缩：支持切片，具有最高的压缩率，hadoop本身自带，使用方便。但是压缩和解压速度很慢，适合对速度要求不高，但需要较高的压缩率的时候， Lzo压缩：压缩和解压速度也比较快，合理的压缩率，支持切片，是hadoop中最流行的压缩格式，但是hadoop本身不支持，需要安装lzop命令，使用比较麻烦。如果要求支持切片，还需要建索引，还需要指定InputFormat为Lzo格式。单个文件越大，Lzo的优势越明显。 Snappy压缩：高速的压缩速度和合理的压缩率。但是不支持切片，hadoop一开始不支持，但是现在自带snappy压缩，当MapReduce作业的map输出数据比较大时，作为map和reduce的中间数据的压缩格式，或者作为一个MapReduce作业的输出和另一个MapReduce作业的输入。 相应的编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec Gzip org.apache.hadoop.io.compress.GzipCodec Bzip2 org.apache.hadoop.io.compress.BZip2Codec LZO com.hadoop.compression.lzo.LzopCodec Snappy org.apache.hadoop.io.compress.SnappyCodec
