一、开启监控 RocksDB是基于LSM Tree实现的，写数据都是先缓存到内存中，所以RocksDB的写请求效率比较高。RocksDB使用内存结合磁盘的方式来存储数据，每次获取数据时，先从内存中b ...

压测合理并行度的方法： ①获得高峰期的qps，如每秒5w条 ②消费该高峰期的数据，达到反压状态后查看每秒处理的数据量y，就是单并行度的处理上限 ③x除以y，增加一点富余： 乘以1.2，就是合理的 ...

任务提交时的一些yarn设置（通用客户端模式） 指定并行度 -p 5 \ 指定yarn队列 -Dyarn.a ...

由于yarn默认容器资源为最小核心数，即一个cpu， 所以我们要根据并行度去调整分配的cpu资源 程序如下:指定并行度为5，指定每个TM的slot数为2 -p 5 \ -Dtaskmanag ...

下图是RocksDB的工作流程，一共进行三个步骤， ①将数据写入内存中的活跃表 Active MenTable ②将活跃表转化成只读表 ReadOnlyMemTable ③将只读表flush到本 ...