用js采集網頁數據並插入數據庫最快的方法

今天教大家一個快速采集網站數據的方法，因為太晚了，直接上例子，這里以采集易車網的產品數據為例。

思路：利用js獲取網頁數據並生成sql命令，執行sql命令把采集的數據插入數據庫。

1.用谷歌瀏覽器或者火狐瀏覽器打開網站：http://car.bitauto.com/（品牌大全），http://car.bitauto.com/audi/（車型大全）

2.按F12進入調試模式，選擇console並敲入以下代碼

// JavaScript Document
(function() {
  var hm = document.createElement("script");
  hm.src = "http://apps.bdimg.com/libs/jquery/2.1.4/jquery.min.js";
  var s = document.getElementsByTagName("script")[0]; 
  s.parentNode.insertBefore(hm, s);
})();
setTimeout(function(){
    $.ajaxSettings.async = false;
    //var data = [];
    var sql = '';
$(".list_pic li").each(function(index, element) {
    var brand ={url: $(this).find("a:eq(1)").attr('href'),name:$(this).find("a:eq(1)").text(),cars:[]};
    sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES('0', '"+$(this).find("a:eq(1)").text()+"');\r\n\
    set @pid = LAST_INSERT_ID();\r\n";
    $.get(brand.url,function(html){
        $(html).find(".cartype-section .p-list .name a").each(function(index, element) {
            sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES(@pid, '"+$(this).text()+"');\r\n";
            brand.cars.push($(this).text());
        });
    });

    
    //data.push(brand);
});
//console.log(data);
console.log(sql)
},2000)

3.復制sql命令，剩下的你們都應該知道了吧

學程序的難點是思路和方法，語言只是工具，如果你願意與我一同學習，可以加我的微信：fafa2088

 for SE：汽車數據詞典、汽車數據采集