本章導讀 機器學習(machine learning, ML)是一門涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多領域的交叉學科。ML專注於研究計算機模擬或實現人類的學習行為，以獲取新知識、 ...

1. Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用來處理結構化數據的一個模塊，它提供了兩個編程抽象分別叫做DataFrame和DataSet，它們用於 ...

1. 下載Spark 1.1 官網下載Spark http://spark.apache.org/downloads.html 打開上述鏈接，進入到下圖，點擊紅框下載Spark-2.2.0-b ...

Shuffle簡介 Shuffle的本意是洗牌、混洗的意思，把一組有規則的數據盡量打亂成無規則的數據。而在MapReduce中，Shuffle更像是洗牌的逆過程，指的是將map端的無規則輸出按指定的 ...

Driver spark.driver.cores driver端分配的核數，默認為1，thriftserver是啟動thriftserver服務的機器，資源充足的話可以盡量給多。 spark. ...

Spark 編程讀取hive，hbase, 文本等外部數據生成dataframe后，一般我們都會map遍歷get數據的每個字段,此時如果原始數據為null時，如果不進行判斷直接轉化為string，就會 ...

為什么要做風控系統 不做的話，會有以下風險： 各種小號、垃圾賬號泛濫 撞庫攻擊、盜號、毀號、拖庫等 拉新 10w 留存率不到 5% 百萬營銷費用，卻增加不了用戶粘性 投票票數 ...

Overview A Quick Example Basic Concepts Linking Initializing StreamingContext ...

概述 StreamingListener 是針對spark streaming的各個階段的事件監聽機制。 StreamingListener接口 自定義StreamingListener ...

1.准備工作 1.1 安裝spark，並配置spark-env.sh 使用spark-shell前需要安裝spark，詳情可以參考http://www.cnblogs.com/swordfall/ ...