之前寫腳本爬斗魚主播信息時用了一個pymongo的去重語句 　　這句話以主播和時間為索引判斷數據庫中如果沒有同一主播同一時間的數據就更新到數據庫。一開始還是很好用的，爬取速度還可以，但是我的計划是每天晚上爬取黃金時間整點段的數據，幾個小時過后數據量就達到了十幾萬條，然后速度 ...

XX市郵政微商城的項目數據庫，300多M，約220萬條數據，source命令導入花了20個小時左右，太不可思議。 速度慢原因：220多萬條數據，就 insert into 了220多萬次，下圖： 這是用 navicat 導出來的數據結構。 后面用 mysqldump 工具 ...

...

Tomcat啟動速度慢的優化方法 有時啟動Tomcat，發現啟動很慢，需要幾分鍾，這個問題值得重視，所以就去查看日志，發現耗時是session引起隨機數問題導致的。Tomcat的Session ID通過SHA1算法計算得到的，計算Session ID的時候必須有1個秘鑰，為了提高 ...

select count(*)是MySQL中用於統計記錄行數最常用的方法。 count方法可以返回表內精確的行數，每執行一次都會進行一次全表掃描， 以避免由於其他連接進行delete和insert引起結果不精確。 在某些索引下是好事，但是如果表中有主鍵，count(*)的速度就會很慢，特別 ...

一 SQL Server 百萬級數據提高查詢速度的方法 1 應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。 2 對查詢進行優化，應盡量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引 ...

工作需要導出幾萬的數據量。操作比較頻繁。之前數據在七八千是數據導出很慢。phpExcel是方便但是性能一般。現在改為使用csv導出數據；可以緩解內存壓力，一次導出兩三萬是沒問題的。當然服務器內存給力，加上數據庫優化相信這個還是比較方便的。 具體方法如下： 在Think文件下新建 ...

還是.csv靠譜，速度佳。.xls就是個坑貨，除非有特殊要求。 直接下載文件 （有個小問題未解決，數據量過大，會在最后出現一段亂碼） 分塊下載 ...