php做的一個簡易爬蟲

對於爬蟲的好奇好像由來已久，一直在研究python的爬蟲，今天得空研究研究php的爬蟲

index.php

<?php
    header("Content-Type:text/html;charset=utf-8");
    if(isset($_GET['img']) and !empty($_GET['img'])){
        include 'getimg.php';
        $img=new GetImg();
        $img->set('start_page',90000);
        $img->set('end_page',90010);
        $img->start_getimg();
    }else{
        echo "<a href='./index.php?img=1'>開始</a>";
    }

getimg.php

<?php
/**
 * [e-mail]
 */
ini_set('implicit_flush',1);     //為一個配置選項設置值
ob_implicit_flush(1);  //打開絕對刷送
ob_end_clean();  //清空（擦除）緩沖區並關閉輸出緩沖
date_default_timezone_set('PRC');  //初始化時區
set_time_limit(0);        //設置腳本最大執行時間

class GetImg{

    private     $start_page=90010;       //開始頁數
    private        $end_page=91000;        //結束頁數
    private     $url='images';                    //命名文件夾

    public function set($key,$val){

        $this->$key=$val;
    }
    
    /*CURL*/
    private function curl_get_con($url,$https=true,$method="get",$data=null){
        $ch=curl_init();

        curl_setopt($ch,CURLOPT_URL,$url);

        curl_setopt($ch,CURLOPT_HEADER,false);

        curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);

        if($https){
            curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false);

            curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false);
        }

        if($method=="post"){
            curl_setopt($ch,CURLOPT_POST,true);

            curl_setopt($ch,CURLOPT_POSTFIELDS,$data);
        }

        $str=curl_exec($ch);

        curl_close($ch);

        return $str;
    }

/*保存圖片方法*/
    private function save_img($url,$dir,$i){
        //創建目錄
        if(!is_dir($dir)){
            mkdir($dir,777);
        }
        //獲取內容
        $res=file_get_contents($url);
        //命名文件
        $file_name=$dir.'/'.$i.'_'.date('Ymd_His').'.jpg';
        //重寫
        file_put_contents($file_name,$res);
        return $file_name;
    }



/*獲取方法*/
    public function start_getimg(){

        echo "<style>table{ border-collapse:collapse }tr{border:1px solid #ccc}</style>
        <table width='1000' border='0' cellpadding='5' cellspacing='5' ><tr width='100'><td colspan='2'>爬蟲已運行：請查看".$this->url."文件夾</td></tr>";
        for($i=$this->start_page+1;$i<=$this->end_page;$i++){
            //爬 地址
            $url="https://www.bbb290.com/htm/pic2/".$i.".htm";
            //開啟CURL 獲取到內容
            $result=$this->curl_get_con($url);
            //使用正則匹配內容中的 圖片
            preg_match_all("/https:\/\/img.*jpg/U",$result,$a);

            $a=$a[0];

            echo "<tr><td>正在捕捉".$i."。</td><td>";

            if(empty($a)){
                echo "<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;----".$i."為空。</td></tr>";
                continue;
            }

            foreach ($a as $value){
                //保存圖片
                 $file_name=$this->save_img($value,$this->url,$i);
                 echo "<img src='".$file_name."' width='100' height='100' />";
            }
            if($i==$this->end_page){
                echo "<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;----".$i."捕捉結束。</td></tr>";
                echo "<br />全部捕捉結束。";
                break;
            }
            echo "<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;----".$i."捕捉結束。</td></tr>";
        }
    }
}

網址貌似被河蟹了~~