在前面文章我们了解到了jvm的内存模型、对象分配的规则、以及对象何时进入到老年代、垃圾回收器，并且知道jvm调优的本质就是对堆内存进行调优，尽量使对象留在新生代中、少触发老年代gc。那么本文将介绍生产环境上如何去排查问题这样的一个思路。用的是最原始、有low、也最有效的jstat命令，因为每个 ...

Arthas 它是什么? Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。 它能解决什么问题? 我想看一下jvm当前的运行状态,怎么看? ...

。本文主要是想讲hive on spark 在运行于yarn模式的情况下如何调优。下文举例讲解的yar ...

前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署 ...

1. 背景 (1) spark的一般开发与运行流程是在本地Idea或Eclipse中写好对应的spark代码，然后打包部署至驱动节点，然后运行spark-submit。然而，当运行时异常，如空指针或数据库连接等出现问题时，又需要再次修改优化代码，然后再打包....有木有可能只需一次部署 ...

　　Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差与Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎 ...

以前最常用的前端调试方法console.log();想调试的时候在代码中加入console.log()，然后npm start一下，几乎解决了全部问题。然而最近工作中发现项目不能在本地运行了。只能 ...

一、版本如下 注意：Hive on Spark对版本有着严格的要求，下面的版本是经过验证的版本 a) apache-hive-2.3.2-bin.tar.gz b) hadoop-2.7.2.tar.gz c) jdk-8u144-linux-x64.tar.gz d ...