使用phpspider抓取網站文章

本示例使用phpspider作為爬蟲，抓取了華爾街見聞部分欄目文章，下面是具體的實現過程。

phpspider 文檔：https://doc.phpspider.org/demo-start.html

第一步：使用composer下載phpspider,命令如下：

composer require owner888/phpspider

生成的composer.json文件內容如下

{
    "require": {
        "owner888/phpspider": "^2.1"
    }   
}

第二步：在composer.json文件的同級目錄下，創建spider.php腳本文件，內容如下：

<?php
require './vendor/autoload.php';

use phpspider\core\phpspider;
/* Do NOT delete this comment */
/* 不要刪除這段注釋 */
//看了一下源代碼，作者將這注釋寫到構造函數中了，所以尊重作者意願，沒有去掉，去掉會報錯。
$configs = array(
    'name' => '華爾街日報',
    'domains' => array(
        'wallstreetcn.com',
    ),
    'scan_urls' => array(
        'http://wallstreetcn.com/'   //華爾街見聞網址
    ),
    'content_url_regexes' => array(
        "http://wallstreetcn.com/articles/\d+"    //華爾街見聞網站文章url模式
    ),
    'fields' => array(
        array(
            // 抓取內容頁的文章內容
            'name' => "article_content",
            'selector' => "//*[@class='node-article-content']",   //文章內容區域class
            'required' => true
        ),
            // 抓取內容頁的文章題目
        array(
                'name'=>'article_title',
                'selector'=>"//*[@class='article__heading__title']",   //文章題目區域class
                'required'=>true
        ),
        //抓取內容頁文章時間
        array(
                'name'=>'article_time',
                'selector'=>"//*[@class='meta-item__text']",     //文章發布時間區域class
                'required'=>true
        ),
    ),
        //腳本輸出類型，輸出到數據庫
        'export'=>array(
                'type'=>'db',
                'table'=>'articles'  //存放文章的數據表
        ),
        //數據庫連接配置
        'db_config'=>array(
                'host'=>'127.0.0.1',
                'port'=>3306,
                'user'=>'mysql',  //連接數據庫的用戶名,根據自己環境定義
                'pass'=>'123456',  //連接數據庫的密碼，根據自己環境定義
                'name'=>'test'   //存放的數據庫
        ),

);


$spider = new phpspider($configs);
$spider->start();

第三步：創建文章表articles，SQL語句如下：

mysql> show create table articles \G
*************************** 1. row ***************************
       Table: articles
Create Table: CREATE TABLE `articles` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `article_content` text NOT NULL,
  `article_title` varchar(255) NOT NULL DEFAULT '',
  `article_time` varchar(64) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

mysql>

第四步：命令行下運行腳本spider.php
php spider.php

如下圖示：

速度還可以，只開啟一個任務，三分鍾左右就抓取了100文章，如果覺得慢，可以多開幾個任務，在spider.php中config數組中配置

注意第一次測試的時候，articles表中article_content使用的類型是varchar,入庫后發現文章內容都被截斷了，只有部分，后來改為text類型就完整存放下了。
下面是數據抓取入庫后的部分截圖：