碼上歡樂
相關內容    簡體    繁體

用php導入10W條+ 級別的csv大文件數據到mysql。導出10W+級別數據到csv文件

本文轉載自   查看原文   2017-03-02 18:42   2722    PHP

轉自：http://blog.csdn.net/think2me/article/details/12999907

1. 說說csv 和 Excel 

這兩者都是我們平時導出或者導入數據一般用到的載體。兩者有什么區別呢？csv 格式更兼容一點。那么共同點都是GBK格式的，非UTF8。所以我們上傳文件的時候，老是出現亂碼，就是編碼問題沒有轉好導致。
 

2. 推薦的幾種方法

1. 函數 fgetss($handel);  返回字符串。它就是strip_tags(fget($handel))的組合讀取csv 文件的一行。去掉了其中的HTML，php 等標簽。這種方法使用於小的csv 文件
[php] view plain  copy
 
 在CODE上查看代碼片派生到我的代碼片
  1. $handle=fopen("1.csv","r");  
  2. while(!feof($handle)){  
  3.     $buffer=fgetss($handle,2048);  
  4.     $row = mb_convert_encoding(trim($buffer), 'utf-8', 'gbk'); //很重要。轉換成UTF8格式，不然容易產生亂碼  
  5.     $data=explode(",",$row); //轉換成數組  
  6.     $insertRows[]    = $data;  
  7. } //這樣所有的csv文件就生成一個二維數組$insertRows;  

2. 函數 fgetcsv($handel,2048,','),返回數組，它就是explode(",",fget($handel))的組合。這種方法使用於小的csv 文件。而且不適合有漢字的csv 文件。
[php] view plain  copy
 
 在CODE上查看代碼片派生到我的代碼片
  1. $handle=fopen("1.csv","r");  
  2. while($data=fgetcsv($handle,1000,",")){  
  3.    $insertRows[]    = $data;  
  4. }  //這樣所有的csv文件就生成一個二維數組$insertRows;  
 
3. 說到正題了。上面2種方法適合少量的csv 文件。如果一個文件有10W+ 以上的行數，恐怕就很悲劇了。
[php] view plain  copy
 
 在CODE上查看代碼片派生到我的代碼片
  1. $handle=fopen("1.csv","r");  
  2.       
  3. //將文件一次性全部讀出來  
  4. $excelData = array();  
  5. $content = trim(file_get_contents($fileName));  
  6. $excelData = explode("\n",$content);  
 
或者直接用$excelData = file($file);   file(） 函數直接將數據讀出並放入數組當中。

我們先將所有的文件一次性讀出來。放到一個數組$excelData 中。這個時候，我們就可以不用管這個csv 文件了，純粹了php 操作數組了。所以。不會崩潰異常：
 
[php] view plain  copy
 
 在CODE上查看代碼片派生到我的代碼片
  1. $chunkData = array_chunk($excelData , 5000); // 將這個10W+ 的數組分割成5000一個的小數組。這樣就一次批量插入5000條數據。mysql 是支持的。  
  2.         $count = count($chunkData);  
  3.         for ($i = 0; $i < $count; $i++) {  
  4.             $insertRows = array();  
  5.             foreach($chunkData[$i] as $value){  
  6.                 $string = mb_convert_encoding(trim(strip_tags($value)), 'utf-8', 'gbk');//轉碼  
  7.                 $v = explode(',', trim($string));  
  8.                 $row = array();  
  9.                 $row['cdate']    = empty($v[0]) ? date('Y-m-d') : date('Y-m-d',strtotime($v[0]));  
  10.                 $row['business'] = $v[1];  
  11.                 $row['project']  = $v[2];  
  12.                 $row['shopname'] = $v[3];  
  13.                 $row['shopid']   = $v[4];  
  14.                 $row['fanli']    = formatNumber($v[5]);  
  15.                 $row['fb']   = $v[6] * 100;  
  16.                 $row['jifen']    = $v[7];  
  17.                 $sqlString       = '('."'".implode( "','", $row ) . "'".')'; //批量  
  18.                 $insertRows[]    = $sqlString;  
  19.             }  
  20.             $result = $model->addDetail($insertRows); //批量將sql插入數據庫。  
  21.         }  


插入數據庫當然是批量插入了：
 
[php] view plain  copy
 
 在CODE上查看代碼片派生到我的代碼片
  1. public function addDetail($rows){  
  2.         if(empty($rows)){  
  3.             return false;  
  4.         }  
  5.         //數據量較大,采取批量插入  
  6.         $data = implode(',', $rows);  
  7.         $sql = "INSERT IGNORE INTO tb_account_detail(cdate,business,project,shopname,shopid,fanli,fb,jifen)  
  8.                  VALUES {$data}";  
  9.         $result = $this->query($sql);  
  10.         return true;  
  11.     }  


 
ok ! 親測試。10W 數據。6個字段。插入需要10秒。
 
 
-----------------2013-12-18 日更新---------------------
 

3. 導出10W+的數據到csv

放棄之前寫的一篇博客中用到的方法：http://blog.csdn.net/think2me/article/details/8596833 。原因是：當超過50W+ 以上的數據時，有可能瀏覽器崩潰，內存超。
 
這個方法是寫文件的方式。然后再把文件彈出下載。
 
[php] view plain  copy
 
 在CODE上查看代碼片派生到我的代碼片
  1. public function dump2Excel() {  
  2.   
  3.     set_time_limit(0);  
  4.     ini_set('memory_limit', '640M');  
  5.     //獲取列表  
  6.     $name = $this->getActionName();  
  7.     $model = D(GROUP_NAME . '.' . $name);  
  8.     $map = $this->_search();  
  9.     //文件名  
  10.     if (isset($_GET['error']) && $_GET['error'] > 0) {  
  11.         $filename = C('IMG_PATH').'account_data_error_' . $map['action_id'] . '_' . date('Y-m-d', mktime()) . '.csv';  
  12.     }else{  
  13.         $filename = C('IMG_PATH').'account_data_all_' . $map['action_id'] . '_' . date('Y-m-d', mktime()) . '.csv';  
  14.     }  
  15.   
  16.     //用戶信息,商家ID,聯盟,商家訂單號,商品分類,確認類別,下單時間,完成時間,  
  17.     //實際支付金額,佣金,佣金補貼,返利,F幣,論壇積分,備注,強制入庫  
  18.     // 'user_info', 'shopid', 'league', 'order_id', 'classify', 'confirm_type',  
  19.     //'buydate', 'paydate', 'real_pay', 'commission', 'commission_plus',  
  20.     // 'fanli', 'jifen', 'bbs', 'remarks', 'persist_execute', 'unique_sign','error_code'  
  21.     $header[] =  iconv("utf-8", "gb2312", "用戶信息");  
  22.     $header[] = iconv("utf-8", "gb2312", "商家ID");  
  23.     $header[] = iconv("utf-8", "gb2312", "聯盟");  
  24.     $header[] = iconv("utf-8", "gb2312", "商家訂單號");  
  25.     $header[] = iconv("utf-8", "gb2312", "商品分類");  
  26.     $header[] = iconv("utf-8", "gb2312", "確認類別");  
  27.     $header[] = iconv("utf-8", "gb2312", "下單時間");  
  28.     $header[] = iconv("utf-8", "gb2312", "完成時間");  
  29.     $header[] = iconv("utf-8", "gb2312", "實際支付金額");  
  30.     $header[] = iconv("utf-8", "gb2312", "佣金");  
  31.     $header[] = iconv("utf-8", "gb2312", "佣金補貼");  
  32.     $header[] = iconv("utf-8", "gb2312", "返利");  
  33.     $header[] = iconv("utf-8", "gb2312", "F幣");  
  34.     $header[] = iconv("utf-8", "gb2312", "論壇積分");  
  35.     $header[] = iconv("utf-8", "gb2312", "備注");  
  36.     $header[] = iconv("utf-8", "gb2312", "強制入庫");  
  37.     $header[] = iconv("utf-8", "gb2312", "唯一標識");  
  38.     $header[] = iconv("utf-8", "gb2312", "錯誤信息");  
  39.   
  40.     $headerFile = implode(',', $header);  
  41.   
  42.     //寫入標題  
  43.     @unlink($filename);  
  44.     file_put_contents($filename, $headerFile."\n");  
  45.   
  46.     //獲取所有error_code  
  47.     $list = D('Fanli')->table('tb_account_action_data_error_code')->field('id,err_msg')->findAll();  
  48.     $error_msg = array();  
  49.     foreach ($list as $value) {  
  50.         $error_msg[$value['id']] = $value['err_msg'];  
  51.     }  
  52.     //導入錯誤的數據  
  53.     if (isset($_GET['error']) && $_GET['error'] > 0) {  
  54.         $map['error_code'] = array('gt', 0);  
  55.     }  
  56.   
  57.     if (!empty($map['action_id'])) {  
  58.         $allCount = $model->where($map)->field('count(1) as count')->select();  
  59.         $pageLimit = ceil($allCount[0]['count']/self::PAGE_COUNT);  
  60.         $voList = array();  
  61.         //打開文件  
  62.         if (!$handle = fopen($filename, 'a')) {  
  63.             echo "不能打開文件 $filename";  
  64.             exit;  
  65.         }  
  66.         //分頁獲取  
  67.         for($i=0;$i<$pageLimit;$i++){  
  68.             $count = self::PAGE_COUNT;  
  69.             $start = $count * $i;  
  70.             $limit = "$start,$count";  
  71.             $voList  = $model->where($map)->limit($limit)->order('id desc')->findAll();  
  72.             //寫入文件  
  73.             $excelString = array();  
  74.             foreach ($voList as $v) {  
  75.                 $dumpExcel = array();  
  76.                 $dumpExcel[] = mb_convert_encoding($v['user_info'], 'GBK', 'UTF-8');  
  77.                 $dumpExcel[] = mb_convert_encoding($v['shopid'], 'GBK', 'UTF-8');  
  78.                 $dumpExcel[] = mb_convert_encoding($v['league'], 'GBK', 'UTF-8');  
  79.                 $dumpExcel[] = mb_convert_encoding($v['order_id'], 'GBK', 'UTF-8');  
  80.                 $dumpExcel[] = mb_convert_encoding($v['classify'], 'GBK', 'UTF-8');  
  81.                 $dumpExcel[] = mb_convert_encoding($v['confirm_type'], 'GBK', 'UTF-8');  
  82.                 $dumpExcel[] = "'".mb_convert_encoding($v['buydate'], 'GBK', 'UTF-8');  
  83.                 $dumpExcel[] = "'".mb_convert_encoding($v['paydate'], 'GBK', 'UTF-8');  
  84.                 $dumpExcel[] = mb_convert_encoding($v['real_pay'], 'GBK', 'UTF-8');  
  85.                 $dumpExcel[] = mb_convert_encoding($v['commission'], 'GBK', 'UTF-8');  
  86.                 $dumpExcel[] = mb_convert_encoding($v['commission_plus'], 'GBK', 'UTF-8');  
  87.                 $dumpExcel[] = mb_convert_encoding($v['fanli'], 'GBK', 'UTF-8');  
  88.                 $dumpExcel[] = mb_convert_encoding($v['jifen'], 'GBK', 'UTF-8');  
  89.                 $dumpExcel[] = mb_convert_encoding($v['bbs'], 'GBK', 'UTF-8');  
  90.                 $dumpExcel[] = mb_convert_encoding($v['remarks'], 'GBK', 'UTF-8');  
  91.                 $dumpExcel[] = intval($v['persist_execute']);  
  92.                 $dumpExcel[] = mb_convert_encoding($v['unique_sign'], 'GBK', 'UTF-8');  
  93.                 $dumpExcel[] = mb_convert_encoding($error_msg[$v['error_code']], 'GBK', 'UTF-8');  
  94.                 $excelString[] = implode(',',$dumpExcel);  
  95.             }  
  96.             //只能一行行些。不然容易漏  
  97.             foreach($excelString as $content){  
  98.                 fwrite($handle, $content . "\n");  
  99.             }  
  100.             unset($excelString);  
  101.         }  
  102.         fclose($handle);  
  103.     }  
  104.     //導出下載  
  105.     header("Content-type: application/octet-stream");  
  106.     header('Content-Disposition: attachment; filename="' . basename($filename) . '"');  
  107.     header("Content-Length: ". filesize($filename));  
  108.     readfile($filename);  
  109. }  


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 CSV文件數據如何讀取、導入、導出到新的CSV文件中以及CSV文件的創建 PHP csv文件30w+數據導入mysql數據庫 （數據導入）csv文件數據導入數據庫 使用PHP導入和導出CSV文件 【Mysql+shell】查詢結果導出到文件，文件數據導入到數據庫 JDBC更新10W級以上數據性能優化 Mysql 千萬級別數據數據查詢 php 讀取淘寶賣家下載的CSV訂單文件數據 Mysql的億級別數據優化 php導出數據到csv
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM