spark 1.5.1是支持直接讀取gz格式的壓縮包的，和普通文件沒有什么區別：
使用spark-shell進入spark shell 交互界面：
輸入命令：
sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println)
回車后是可以看到該目下很多個gz壓縮包文件都被打印出來了。
參考文章：
http://blog.csdn.net/xuyaoqiaoyaoge/article/details/52943606
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。