QueryList采集数据并保存图片到本地

// 抓取，添加数据
    public function save(){
        require 'QueryList/phpQuery.php';
        require 'QueryList/QueryList.php';
         // 要抓的网址
        $url = 'http://www.techweb.com.cn/newgame';
        $rules =
         [
            'title' => ['.news_title>h3>a','html'],
            'text' => ['.news_text>p','html'],
            'img' => ['.na_pic>img','src']
         ];
        $data = @QueryList::Query($url,$rules)->data;
        // 将数据中的图片循环保存
        foreach ($data as $key=>$val){
            $res = file_get_contents($val['img']);
            // 固定保存到指定文件夹中
            $info = 'img/'.time().rand(1,999999).substr($val['img'],strrpos($val['img'],'.'));
            file_put_contents($info,$res);
        }
         // 用Db方法把抓取数据存到数据表“query”中
        Db::table('query')->insertAll($data,true);
    }

 

如果抓取的数据有的无字段，则要添加判断条件

在给$data赋值完，图片循环保存之前添加判断

foreach ($data as $k=>$v) {
           if (empty($v['title'])) {
               unset($data[$k]);
           }
           if (empty($v['img'])) {
               unset($data[$k]);
           }
           if (empty($v['text'])) {
               unset($data[$k]);
           }
       }