1: LSTM結構推導，為什么比RNN好？ 答案：推導forget gate，input gate，cell state， hidden information等的變化；因為LSTM有進有出且當前的c ...

一.sparksql讀取數據源的過程 1.spark目前支持讀取jdbc，hive,text,orc等類型的數據，如果要想支持hbase或者其他數據源，就必須自定義 2.讀取過程 （1）s ...

...

1、為什么開啟動態資源分配 ⽤戶提交Spark應⽤到Yarn上時，可以通過spark-submit的num-executors參數顯示地指定executor 個數，隨后，ApplicationMas ...

1.並行度 在direct方式下，sparkStreaming的task數量是等於kafka的分區數，kakfa單個分區的一般吞吐量為10M/s 常規設計下：kafka的分區數一般為broken節 ...

推薦閱讀： 滴滴Booster移動App質量優化框架-學習之旅 一 Android 模塊Api化演練 不一樣視角的Glide剖析(一) 一、Booster簡介 Booster是滴滴最近開源一個的移動應用質量優化框架項目，專門為移動應用而設計的簡單易用、輕量級、功能強大且可擴展 ...

滴滴三面 ...

triftserver是基於jdbc的一個spark的服務，可以做web查詢，多客戶端訪問，但是thriftserver沒有高可用，服務掛掉后就無法在訪問，所有使用注冊到zk的方式來實現 ...

推薦閱讀： 滴滴Booster移動App質量優化框架-學習之旅 一 Android 模塊Api化演練 不一樣視角的Glide剖析(一) 續寫滴滴Booster移動APP質量優化框架學習之旅，上篇文章分析內置的transform：booster-transform-shrink ...

sparkUi的4040界面已經有了運行監控指標，為什么我們還要自定義存入redis？ 1.結合自己的業務，可以將監控頁面集成到自己的數據平台內，方便問題查找，郵 ...