PHP性能调优---php-fpm中启用慢日志配置（用于检测执行较慢的PHP脚本）
虽然通过nginx accesslog可以记录用户访问某个接口或者网页所消耗的时间，但是不能清晰地追踪到具体哪个位置或者说函数慢，所以通过php-fpm慢日志，slowlog设置可以让我们很好的看见哪些php进程速度太慢而导致的网站问题 php-fpm.conf的配置文件中有一个参数 ...
原文：hadoop集群spark作业执行较慢、入库较慢相关问题排查及调优
反馈 业务侧反馈日常进行spark作业跑不动，执行速度特别慢，影响当天任务生成，后续活动执行 主要现象及影响： regionserver频繁挂，日志出现大量gc信息 spark类型的作业跑得慢，跟业务一起做测试定位原因，发现主要是hbase get比较耗时 标签入库较慢 将数据put到hdfs，从hdfs入到hbase中 参数调整及优化： 发现regionserver日志有频繁gc延迟的信息，主 ...
2022-02-25 14:19 0 822 推荐指数：
相关推荐
spark作业性能调优
spark作业性能调优 优化的目标 保证大数据量下任务运行成功 降低资源消耗 提高计算性能 一、开发调优： （1）避免创建重复的RDD RDD lineage，也就是“RDD的血缘关系链” 开发RDD lineage极其冗长的Spark作业时，创建多个代表 ...
【Spark调优】数据倾斜及排查
【数据倾斜及调优概述】 大数据分布式计算中一个常见的棘手问题——数据倾斜： 在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜 ...
【Azure Redis 缓存】Azure Redis读写比较慢/卡的问题排查
问题描述 在使用Azure Redis的过程中发现读写比较慢，非常卡，执行扩容6-->13GB后，过一段时间也满了。在通过门户Console连接到Reids，通过info Memory名称查看到User_memory_peak_perc指标达到99%以上，怀疑是不是该值的使用导致 ...
关于mybatis使用foreach插入速度较慢的问题
使用mybatis批量插入，看了这篇博客 https://blog.csdn.net/m0_37981235/article/details/79131493 我这种懒货懒得想其中原因，直接上 ...
[hadoop] 集群启动和内存调优
1、启动Hadoop集群 2、提示信息 3、守护进程 4、心得总结 (1)如果从节点HBASE启动失败 1、检查zookeeper/data下myid是否正确 2、实在不行单独启动从节点 ...
C# 关于数据量大，Contains 方法执行较慢的问题！
问题描述： 有一个数据集合，数据量有几万条、十几万条，类型是 List<a'> ，里面有一个字段是部门id（departmentid），假如说现在有很多个公司，有些公司有多个部门，在循环遍历获取每个公司的所有部门对应的记录时，速度非常慢， 如果集合包含10 万条记录，有一千多个 ...
hadoop 集群调优实践总结
调优概述# 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子 ...