spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别：
使用spark-shell进入spark shell 交互界面：
输入命令：
sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println)
回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。
参考文章：
http://blog.csdn.net/xuyaoqiaoyaoge/article/details/52943606
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。