QueryList采集數據並保存圖片到本地

// 抓取，添加數據
    public function save(){
        require 'QueryList/phpQuery.php';
        require 'QueryList/QueryList.php';
         // 要抓的網址
        $url = 'http://www.techweb.com.cn/newgame';
        $rules =
         [
            'title' => ['.news_title>h3>a','html'],
            'text' => ['.news_text>p','html'],
            'img' => ['.na_pic>img','src']
         ];
        $data = @QueryList::Query($url,$rules)->data;
        // 將數據中的圖片循環保存
        foreach ($data as $key=>$val){
            $res = file_get_contents($val['img']);
            // 固定保存到指定文件夾中
            $info = 'img/'.time().rand(1,999999).substr($val['img'],strrpos($val['img'],'.'));
            file_put_contents($info,$res);
        }
         // 用Db方法把抓取數據存到數據表“query”中
        Db::table('query')->insertAll($data,true);
    }

 

如果抓取的數據有的無字段，則要添加判斷條件

在給$data賦值完，圖片循環保存之前添加判斷

foreach ($data as $k=>$v) {
           if (empty($v['title'])) {
               unset($data[$k]);
           }
           if (empty($v['img'])) {
               unset($data[$k]);
           }
           if (empty($v['text'])) {
               unset($data[$k]);
           }
       }