phpspider爬蟲框架的使用

這幾天使用PHP的爬蟲框架爬取了一些數據，發現還是挺方便的，先上爬蟲框架的文檔 phpspider框架文檔

使用方法其實在文檔中寫的很清楚而且在demo中也有使用示例，這里放下我自己的代碼做個筆記

<?php
include "./autoloader.php";

use phpspider\core\phpspider;
/* Do NOT delete this comment */
/* 不要刪除這段注釋 */

$configs = array(
    'name' => '中國保溫網',
    'domains' => array(
        'www.cnbaowen.net',
        'cnbaowen.net'
    ),
    'scan_urls' => array(
        'http://www.cnbaowen.net/news/list-3720-1.html'
    ),

    'export' => array(
        'type' => 'db',
        'table' => 'articles_mc',
    ),

    'db_config' => array(
        'host'  => '127.0.0.1',
        'port'  => 3306,
        'user'  => 'root',
        'pass'  => '123456',
        'name'  => 'spider',
    ),

    'content_url_regexes' => array(
        "http://www.cnbaowen.net/news/show-\d+.html"
    ),

    'list_url_regexes' => array(
        "http://www.cnbaowen.net/news/list-3720-\d+.html"
    ),

    'fields' => array(
        array(
            // 抽取內容頁的文章內容
            'name' => "title",
            'selector' => "//h1[@id='title']",
            'required' => true
        ),
        array(
            // 抽取內容頁的文章作者
            'name' => "content",
            'selector' => "//div[@id='content']",
            'required' => true
        ),
        array(
            // 抽取內容頁的文章作者
            'name' => "type"
        ),

        array(
            // 抽取內容頁的文章作者
            'name' => "site_id"
        ),
    ),
);
$spider = new phpspider($configs);


$spider->on_list_page = function($page, $content, $spider){
    for ($i = 2; $i < 24; $i++)
    {
        $url = "http://www.cnbaowen.net/news/list-3720-{$i}.html";
        $spider->add_url($url);
    }
};

$spider->on_extract_field = function($fieldname, $data, $page){
    if($fieldname == "type"){
        return 2;
    }elseif($fieldname == "content"){
        $s = preg_replace("/<div style=\"float:right[\s\S]*?div>/","",$data);
        $s = preg_replace('/<a .*?href="(.*?)".*?>/is',"<a href='#'>",$s);
        $data = preg_replace('/<img.*?>/is',"",$s);
        return $data;
    }elseif($fieldname == "site_id"){
        return 1;
    }else{
        return $data;
    }
};

$spider->start();

注釋：這里需要說明一點，抓取頁面數據時我只需要標題和內容的部分，但是存入數據庫時我需要使用到另外兩個字段，所以定義字段的時候多定義了`type`和`site_id`兩個字段，但是這兩個字段的實際賦值是在 `on_extract_field` 回調函數中完成的

附帶sql語句

CREATE TABLE `articles_mc` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `title` varchar(200) DEFAULT NULL,
  `content` text,
  `type` int(5) DEFAULT '0' COMMENT '文章類型 1行業資訊 2技術資料',
  `site_id` int(5) DEFAULT NULL COMMENT '站點id',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4887 DEFAULT CHARSET=utf8mb4;