1.構建使用idea 構建maven 項目 選擇org.scala-tools.archetypes:scala-archetype-simple，然后一直點next,maven最好選中本地配置國內源的而不適用idea自生的。 工程創建好后，點擊Event Log 修改pox.xml文件 ...

寫在前面 因為本地電腦沒裝flume，nginx各種。所以之前寫Streaming程序的時候，都是打包了放到集群上跑。就算我在程序代碼里不停地logger，調試起來也hin不方便。 於是本地寫了兩個程序，在intellj調試。 主要就是包括兩個程序： 一個是 ...

生產環境的 Spark Job 都是跑在集群上的，畢竟 Spark 為大數據而生，海量的數據處理必須依靠集群。但是在開發Spark的的時候，不可避免我們要在本地進行一些開發和測試工作，所以如何在本地用好Spark也十分重要，下面給大家分享一些經驗。 首先你需要在本機上安裝好了Java ...

Spark程序本地運行 本次安裝是在JDK安裝完成的基礎上進行的！ SPARK版本和hadoop版本必須對應！！！ spark是基於hadoop運算的，兩者有依賴關系，見下圖： 前言： 1.環境變量配置： 1.1 打開“控制面板”選項 ...

原因：缺少winutils.exe組件 解決：安裝hadoop-common 添加hadoop-common安裝路徑到環境變量或者代碼增加 參考：https://blog.csdn.n ...

（我用的是javajdk1.8.0_141解決的，中間試了好幾個辦法） 3.本地磁盤tmp文件夾看看有沒提醒， ...

spark版本：1.6.1 scala版本：2.10 問題呢場景： 　　在idea調試本地程序的時候創建hiveContext報錯，上午的時候是沒有這個問題的，下午在項目中寫了一個小deamon，出現了而這個問題，下面是我的代碼： import ...

1 IDEA創建maven項目進行測試 v創建一個新項目，步驟如下： 選擇“Enable Auto-Import”，加載完后：選擇“ ...