插入分析 MySQL中插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例： 连接：（3） 发送查询给服务器：（2） 分析查询：（2） 插入记录：（1x记录大小） 插入索引：（1x索引） 关闭：（1） 如果我们每插入一条都执行一个SQL ...

原计划本节学习的是编辑和删除用户信息，在案例开发过程中发现先把数据列表读取出来，再对列表的数据进行删除或修改更为合理，所以调整下学习顺序，先进行数据分页查询的学习，再对数据进行编辑和删除。 数据查询 我们的数据实际是存储在MySql数据库中的某个表中，用sql查询的结果如下图所示 ...

假如说我们目前已有一亿个注册用户，要把这些用户平均分配到100张表中，并且后续注册的用户也要均匀分配到这100张表 首先当用户注册时，如用户名为“username”，用php的crc32()函数处理用户名，得到一个数值4166911607，代码如下 <?php $str ...

最近在做大数据处理时，遇到两个大表 join 导致数据处理太慢（甚至算不出来）的问题。我们的数仓基于阿里的 ODPS，它与 Hive 类似，所以这篇文章也适用于使用 Hive 优化。处理优化问题，一般是先指定一些常用的优化参数，但是当设置参数仍然不奏效的时候，我们就要结合具体的业务，在 SQL ...

基于内存映射的千万级数据处理框架 在计算机的世界里，将大问题切分为多个小问题予以解决是非常优秀的思想。 许多优秀的数据存储框架都采用分布式架构解决海量数据的存储问题，在典型的数据库中间件架构中， 往往抽象出逻辑的数据表概念,一个逻辑表对应多个物理表，写入的数据 ...

mysql 分表思路 一张一亿的订单表，可以分成五张表，这样每张表就只有两千万数据，分担了原来一张表的压力，分表需要根据某个条件进行分，这里可以根据地区来分表，需要一个中间件来控制到底是去哪张表去找到自己想要的数据。 中间件：根据主表的自增 id 作为中间件（什么样 ...

效果图1 效果图2 ...

上周需要将云端的数据有条件的录入到mysql中，最开始是使用遍历数据然后一条条的插入的笨方法，结果速度慢的要死，所以又随便写了个笨方法2.0，记录一下自己菜鸟的成长历程。同时这也是在博客园的第一篇文章，目的仅仅是单纯的记录一下自己的狗屎代码，因为我是菜鸟，哈哈。。。 比如说有10001条数据 ...