之前写脚本爬斗鱼主播信息时用了一个pymongo的去重语句 　　这句话以主播和时间为索引判断数据库中如果没有同一主播同一时间的数据就更新到数据库。一开始还是很好用的，爬取速度还可以，但是我的计划是每天晚上爬取黄金时间整点段的数据，几个小时过后数据量就达到了十几万条，然后速度 ...

XX市邮政微商城的项目数据库，300多M，约220万条数据，source命令导入花了20个小时左右，太不可思议。 速度慢原因：220多万条数据，就 insert into 了220多万次，下图： 这是用 navicat 导出来的数据结构。 后面用 mysqldump 工具 ...

...

Tomcat启动速度慢的优化方法 有时启动Tomcat，发现启动很慢，需要几分钟，这个问题值得重视，所以就去查看日志，发现耗时是session引起随机数问题导致的。Tomcat的Session ID通过SHA1算法计算得到的，计算Session ID的时候必须有1个秘钥，为了提高 ...

select count(*)是MySQL中用于统计记录行数最常用的方法。 count方法可以返回表内精确的行数，每执行一次都会进行一次全表扫描， 以避免由于其他连接进行delete和insert引起结果不精确。 在某些索引下是好事，但是如果表中有主键，count(*)的速度就会很慢，特别 ...

一 SQL Server 百万级数据提高查询速度的方法 1 应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引 ...

工作需要导出几万的数据量。操作比较频繁。之前数据在七八千是数据导出很慢。phpExcel是方便但是性能一般。现在改为使用csv导出数据；可以缓解内存压力，一次导出两三万是没问题的。当然服务器内存给力，加上数据库优化相信这个还是比较方便的。 具体方法如下： 在Think文件下新建 ...

还是.csv靠谱，速度佳。.xls就是个坑货，除非有特殊要求。 直接下载文件 （有个小问题未解决，数据量过大，会在最后出现一段乱码） 分块下载 ...