最近在 cnblogs 网站上，看其他人博客，谈及一个包含很多行(一亿)的大文件，一周之内，将其数据导入到数据库表。 我谈到可以使用“使用数据库事务，分批 commit 到数据库，每批次有 5000行”的方法，提高数据导入速度，两天应该就可以了。 好像博主及下方评论者，不太理解，这个“分批 ...

常规的创建文件方式有： touch vi(m) tee > 或 >> 但是这几种都只适合创建小的文本文件，某些情况下出于测试的需要，你需要快速创建一个超大的文件，可能要 上百G。这时候要使用上面几个命令，你可能要等一天的时间，效率非常低。 接下 ...

突然发现我们的redis 已经用了30G了，好吧这是个很尴尬的数字因为我们的缓存机器的内存目前是32G的，内存已经告竭。幸好上上周公司采购了90G的机器，现在已经零时迁移到其中的一台机器上了。(跑题下，90G的内存太爽了是我除了koding.com 之外第二次用到90G的机器，koding ...

# 上面的分表脚本执行以后会生成以下自动每天执行分表的计划任务# 为了安全起见最好自定义每天的计划任务，如果没有自动分表，zabbix获取的监控数据就无法入库，进而不能触发报警，如果刚好有关键业务出现问题没有触发报警，就很悲剧了[root@aliyun-zabbix ...

线上运作(3 years+)，数据累积很大。在项目的数据库中，大概上亿条数据的表有5个以上，千万级数据的 ...

前提条件： 数据库容量上亿级别，索引只有id，没有创建时间索引 达到目标： 把阿里云RDS Mysql表数据同步到hive中，按照mysql表数据的创建时间日期格式分区，每天一个分区方便查询 每天运行crontab定时的增量备份数据，还是依据自增的id 遇到的问题 ...

如何编译测试文件生成程序和排序程序 c++，Vs2013下开发，win10 64。 2015/10/30 如何生成测试文件 1、随机生成一个字符串 即： 随机生成一个长度n的字符串； 思想： 新建一个空的字符串，然后每次在字符表的字典中随机取一个元素，添加到字符串中，重复 ...

下面收集了两种解决办法，一种是把数据库分文件导出然后再导入，另一种是修改my.ini配置文件。 导入1G的数据，但是在怎么都导入不了，用命令行就可以轻松搞定了。用mysql source命令可以导入比较大的文件 ...