下图是RocksDB的工作流程，一共进行三个步骤， ①将数据写入内存中的活跃表 Active MenTable ②将活跃表转化成只读表 ReadOnlyMemTable ③将只读表flush到本地磁盘上 LocalDish 具体调优方法 ①增大整块缓存，减小刷写的频率 ...

参数名 说明 state.backend.rocksdb.block.blocksize block 的大小，默认值为4KB。在生 ...

第1章 资源配置调优 　　Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 　　提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定 ...

1 配置内存 如果频繁出现Full GC，需要优化GC 在客户端的"conf/flink-conf.yaml"配置文件中，在“env.java.opts”配置项中添加参数： -Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails -XX ...

Flink调优法则 一. 性能定位 口诀分析 1. 看背压 通常最后一个背压高的subTask的下游就是job的明显瓶颈之一 2. 看checkoint时长 checkpoint的时长在一定程度上可以影响job的整体吞吐 3. 查看关键指标 通过延迟与吞吐指标可以对任务的性能 ...

最近接手了一个flink作业，另外一个同事断断续续有的没的写了半年的，不着急，也一直没上线，最近突然要上线，扔给我，要调通上线。 现状是： 1.代码跑不动，资源给的不少，但是就是频繁反压。 2.checkpoint经常失败。 3.也是最严重的，跑着跑着，作业就挂了。 接手之后，秉承 ...

1、checkPoint （1.1）Flink 中的每个方法或算子都是有状态的。 状态化的方法在处理元素/事件的时候存储数据，使得状态成为使各个类型的算子重要部分。 Flink 通过为状态添加 checkpoint（检查点），使状态具备容错能力。 （1.2）Flink的CheckPoint ...

1、Flink参数配置 jobmanger.rpc.address：jobmanger的地址 jobmanger.rpc.port：jobmanger的端口 jobmanager.heap.mb：jobmanager的堆内存大小。不建议配的太大，1-2G足够 ...