spark-streaming任務提交遇到的坑 一、背景 　　基本所有公司互聯網公司都會有離線和實時任務，達到實時的目的手段據個人了解有storm、spark-streaming、flink。今天來探討一下spark-streaming任務的開發到上線過程中遇到的問題。 　　公司領導最近提了 ...

在Python3.x中，使用print時出錯（SyntaxError: Missing parentheses in call to 'print'）解決辦法 Python2到Python3，很多基 ...

此貼記錄工作過程中遇到的那些坑爹問題。 1、spring mvc 靜態資源處理 　　spring提供三種對靜態資源的處理方式，我使用的是<mvc:resources mapping="/images/**" location="/images/" />方式，由於之前分文件配置 ...

在學習Spark的過程中，寫程序統計單詞數量的時候，突然想把統計后的（單詞, 次數) 這樣的集合根據各單詞出現的次數從高到低倒序排列。於是在網上查了下有sortBy()函數可以實現。試了下沒問題。然而由於單詞過多，排序后打印出來的結果過長，於是想取前 10 條來驗證，自然地想到使用top()函數 ...

1.HDFS 修復 問題描述：其他部門在yarn平台上跑spark 程序錯誤的生成了海量的不到100K的小文件，導致namenode壓力過大，其中一個namenode宕機后，沒有及時發現 使得edits文件大量積累，在namenode1宕機后，namenode2 隨后在凌晨1點也宕機 ...

一.經驗 1.Spark Streaming包含三種計算模式：nonstate .stateful .window 2.kafka可通過配置文件使用自帶的zookeeper集群 3.Spark一切操作歸根結底是對RDD的操作 4.部署Spark任務，不用拷貝整個架包，只需拷貝 ...

最近公司開發一個微信小程序項目加shiro的項目。因為微信小程序是不使用cookie，使用的是 storage 。那么我們就不能使用傳統的方式來保持登錄狀態了。 1.首先和網上的一樣，先重寫一個Se ...

系統背景 spark streaming + Kafka高級API receiver 目前資源分配（現在系統比較穩定的資源分配），獨立集群 --driver-memory 50G --executor-memory ...