本文是從 IPython Notebook 轉化而來，效果沒有本來那么好。 主要為體驗 IPython Notebook。至於題目，改成《在 IPython Notebook 中使用 Spark》也可以，沒什么差別。為什么是 Spark？因為這兩天在看《Spark 機器學習》這本書第 3 章 ...

前言 使用 Hive insert SQL 后查看 Yarn 發現其跑的是 MR 方式 這里想改用 Spark 引起來縮短 HiveQL 的響應時間 有兩種方式 SparkSQL Hive on Spark 兩種方式都可以，看個人習慣 Hive on Spark ...

目錄 步驟 一、創建maven工程，導入jar包 二、開發代碼 ...

原文件名為file1.txt，壓縮后原文件消失，壓縮后文件名為file1.txt.gz gzip file1.txt 壓縮兩個文件到一個文件 cat file1.txt file2.txt | gzip > foo.gz 或 gzip -c file1.txt ...

數據庫備份，導出的dmp 文件比較大，需要壓縮，壓縮后大小能變為原來十分之一左右吧。 寫的是批處理的語句，每天調用，自動導出dmp 文件，壓縮刪除原文件。 首先寫下路徑 先將壓縮軟件的路徑寫入系統的環境變量里，加入到path中。比如將“C:\Program Files\WinRAR\”加入到 ...

hadoop對於壓縮文件的支持 hadoop對於壓縮格式的是透明識別,我們的MapReduce任務的執行是透明的，hadoop能夠自動為我們 將壓縮的文件解壓，而不用我們去關心。 如果我們壓縮的文件有相應壓縮格式的擴展名（比如lzo，gz，bzip2等），hadoop就會根據擴展名去選擇 ...

spark序列化 對於優化<網絡性能>極為重要，將RDD以序列化格式來保存減少內存占用. spark.serializer=org.apache.spark.serializer.JavaSerialization Spark默認 使用Java自帶 ...

:\\spark-1.6.1-bin-hadoop2.6\\spark-1.6.1-bin-hadoop2.6"); SparkConf ...