最近在忙着优化集团公司的一个报表。优化完成后，报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储 过程实现，花了我3天多的时间，在此总结一下，希望对朋友们有帮助。 数据背景 首先项目是西门子中国在我司实施部署的MES项目，由于项目是在产 ...

在数据开发中，我们不难遇到重复数据的问题，搞过这类数据开发的同志肯定觉得，重复数据是真的烦人，特别是当数据量十分大的时候，如果我们用空间复杂度去换时间复杂度，会十分耗内容，稍不注意，就会内存溢出，那么针对如此庞大的数据量我们一般能怎么解决呢？下面分享几个方案： 方案一、根据一定规则分层去重 ...

前言 知乎，在古典中文中意为“你知道吗？”，它是中国的 Quora，一个问答网站，其中各种问题由用户社区创建，回答，编辑和组织。 作为中国最大的知识共享平台，我们目前拥有 2.2 亿注册用户，3000 万个问题，网站答案超过 1.3 亿。 随着用户群的增长，我们的应用程序的数据大小无法实现 ...

面试题 & 真实经历 面试题：在数据量很大的情况下，怎么实现深度分页？ 大家在面试时，或者准备面试中可能会遇到上述的问题，大多的回答基本上是分库分表建索引，这是一种很标准的正确回答，但现实总是很骨感，所以面试官一般会追问你一句，现在工期不足，人员不足，该怎么实现深度分页 ...

前提条件： 数据库容量上亿级别，索引只有id，没有创建时间索引 达到目标： 把阿里云RDS Mysql表数据同步到hive中，按照mysql表数据的创建时间日期格式分区，每天一个分区方便查询 每天运行crontab定时的增量备份数据，还是依据自增的id 遇到的问题 ...

最近在 cnblogs 网站上，看其他人博客，谈及一个包含很多行(一亿)的大文件，一周之内，将其数据导入到数据库表。 我谈到可以使用“使用数据库事务，分批 commit 到数据库，每批次有 5000行”的方法，提高数据导入速度，两天应该就可以了。 好像博主及下方评论者，不太理解，这个“分批 ...

Hello，大家好，我是楼下小黑哥~ 如果给你一个包含一亿行数据的超大文件，让你在一周之内将数据转化导入生产数据库，你会如何操作？ 上面的问题其实是小黑哥前段时间接到一个真实的业务需求，将一个老系统历史数据通过线下文件的方式迁移到新的生产系统。 由于老板们已经敲定了新系统上线时间，所以只留给 ...