前言 在当今每日信息量巨大的社会中,源源不断的数据需要被安全的存储.等到数据的规模越来越大的时候,也许瓶颈就来了,没有存储空间了.这时候怎么办,你也许会说,加机器解决,显然这是一个很简单直接但是又显得有些欠缺思考的办法.无谓的加机器只会带来无限上升的成本消耗,更好的办法应该是做到更加精细化的数据 ...

　　 某天，在生产环节中，发现一个定时任务表，由于每次服务区查询这个表就会造成慢查询，给mysql服务器带来不少压力，经过分析，该表中绝对部分数据是垃圾数据 需要删除，约1050万行，由于缺乏处理大数据的额经验，开始直接使用delete搭配where条件进行清理，最后执行了1个小时也没有完成 ...

前言 最近公司在使用 ABP 重构之前的老项目，数据库也由 SQL SERVER 切换到了 MySql。吐槽一下，之前的产品使用的是 Windows Server 2008 , SqlServer 2008R2, .Net Framework 4.5，现在开始拥抱 .net core。回到正题 ...

...

　　　　　　　　　　　　CDH构建大数据平台-HDFS高可用案例实操 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.禁用HDFS的HA模式 1>.通过CM的主 ...

前言 加入新公司的第二个星期的星期二 遇到另一个项目需要技术性支持：验证es多集群的数据备份方案，需要我参与验证，在这个项目中需要关注到两个集群的互通性。es集群是部署在不同的k8s环境中，K8s环境未必可以互相通信。在这个过程中也遇到很多问题，关关难过关关过。 因为是新入职的公司的第一个完成 ...

前言 目标快速模拟数据一亿条, 存储过程效率太低, 找到个load data的方法, 从本地文件读数据插入到库表中, 正文如下 正文 切换引擎 查询引擎类型 查询结果 将InnoDB切换为 查看切换结果 xxx操作 ...

　　　　　　　　　　　　　　　　Kafka集群优化篇-调整broker的堆内存(heap)案例实操 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.查看 ...