【原創】大數據基礎之Logstash（5）監控
有兩種方式來監控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
原文：大數據基礎---Spark車輛監控項目
一 項目簡介 這是一個車輛監控項目。主要實現了三個功能： .計算每一個區域車流量最多的前 條道路。 .計算道路轉換率 .實時統計道路擁堵情況 當前時間，卡口編號，車輛總數，速度總數，平均速度 二 項目結構 TrafficBySparkAndKafka data src main java vip producedate hive 模擬數據到文件和Hive shuai boy trafficTemp ...
2020-05-08 17:54 0 566 推薦指數：
相關推薦
大數據監控
數據作為大數據系統的核心，需要進行監控，合理的監控與報警策略不但可以幫助我們快速發現和定位故障，而且還可以智能化的預測可能發生的問題。我們可以根據業務的規則制定重點的監控指標，保證數據具備高質量。 在大數據的監控中，對數據質量進行監控是最為直接的。因為從數據使用者的角度來說 ...
【原創】大數據基礎之Hadoop（3）yarn數據收集與監控
yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metr ...
【原創】大數據基礎之Kudu（4）spark讀寫kudu
spark2.4.3+kudu1.9 1 批量讀 2 批量寫 3 單個讀/條件讀 4 單個寫 其他：newInsert/newUpdate/newDelete/newUpsert 5 錯誤定位 如果apply之后發現修改 ...
Spark快速大數據分析之RDD基礎
Spark 中的RDD 就是一個不可變的分布式對象集合。每個RDD 都被分為多個分區，這些分區運行在集群中的不同節點上。RDD 可以包含Python、Java、Scala中任意類型的對象，甚至可以包含用戶自定義的對象。 用戶可以使用兩種方法創建RDD：讀取一個外部數據集，或在 ...
【原創】大數據基礎之Hive（5）hive on spark
hive 2.3.4 on spark 2.4.0 Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine. set ...
大數據架構之:Spark
Spark是UC Berkeley AMP 實驗室基於map reduce算法實現的分布式計算框架，輸出和結果保存在內存中，不需要頻繁讀寫HDFS，數據處理效率更高Spark適用於近線或准實時、數據挖掘與機器學習應用場景 Spark和Hadoop Spark是一個針對超大數據 ...
大數據篇：Spark
大數據篇：Spark Spark是什么 Spark是一個快速（基於內存），通用，可擴展的計算引擎，采用Scala語言編寫。2009年誕生於UC Berkeley(加州大學伯克利分校，CAL的AMP實驗室)，2010年開源，2013年6月進入Apach孵化器，2014年成 ...