jvm線上調優實戰
在前面文章我們了解到了jvm的內存模型、對象分配的規則、以及對象何時進入到老年代、垃圾回收器，並且知道jvm調優的本質就是對堆內存進行調優，盡量使對象留在新生代中、少觸發老年代gc。那么本文將介紹生產環境上如何去排查問題這樣的一個思路。用的是最原始、有low、也最有效的jstat命令，因為每個 ...
原文：hive on spark 線上調優
把線上的hive 從mr切換成spark之后，報錯 Error while processing statement: FAILED: Execution Error, return code from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session c ...
2020-10-29 11:42 0 493 推薦指數：
相關推薦
Arthas線上調優工具實戰
Arthas 它是什么? Arthas 是Alibaba開源的Java診斷工具，深受開發者喜愛。 它能解決什么問題? 我想看一下jvm當前的運行狀態,怎么看? ...
hive on spark 調優
。本文主要是想講hive on spark 在運行於yarn模式的情況下如何調優。下文舉例講解的yar ...
Hive on Spark 參數調優
前言 Hive on Spark是指使用Spark替代傳統MapReduce作為Hive的執行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理調整參數才能最大化性能，本文簡單列舉一些調優項。為了符合實際情況，Spark也采用on YARN部署 ...
Spark在Windows上調試
1. 背景 (1) spark的一般開發與運行流程是在本地Idea或Eclipse中寫好對應的spark代碼，然后打包部署至驅動節點，然后運行spark-submit。然而，當運行時異常，如空指針或數據庫連接等出現問題時，又需要再次修改優化代碼，然后再打包....有木有可能只需一次部署 ...
基於CDH 5.9.1 搭建 Hive on Spark 及相關配置和調優
Hive默認使用的計算框架是MapReduce，在我們使用Hive的時候通過寫SQL語句，Hive會自動將SQL語句轉化成MapReduce作業去執行，但是MapReduce的執行速度遠差與Spark。通過搭建一個Hive On Spark可以修改Hive底層的計算引擎 ...
前端線上調試之source maps
以前最常用的前端調試方法console.log();想調試的時候在代碼中加入console.log()，然后npm start一下，幾乎解決了全部問題。然而最近工作中發現項目不能在本地運行了。只能 ...
Hive on Spark
一、版本如下 注意：Hive on Spark對版本有着嚴格的要求，下面的版本是經過驗證的版本 a) apache-hive-2.3.2-bin.tar.gz b) hadoop-2.7.2.tar.gz c) jdk-8u144-linux-x64.tar.gz d ...