七牛遠程抓取圖片

公司網站之前的用戶頭像是存儲在自己的服務器，后來管理不便，新增用戶頭像上傳到七牛，為了方便管理，數據統一，領導說把本地服務器的頭像全部遷移到七牛。

1.梳理下思路

先判斷用戶的頭像是否在七牛，若不存在，本地如果有則抓取到七牛，然后進行批量抓取

2.七牛判斷圖片是否存在

 /**
     * 查看七牛url是否存在
     * @param string $url
     */
    function url_exists($url) {
        require_once(COMMON_PATH."qiniu/rs.php");
        require_once(COMMON_PATH."qiniu/http.php");
        $parts=parse_url($url);
        $bucket ；//桶
        $key=substr($parts['path'], 1);//七牛文件名
       //密鑰
        $accessKey ; 
        $secretKey ;
        Qiniu_SetKeys($accessKey, $secretKey);
        $client = new Qiniu_MacHttpClient(null);
        list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看單個文件信息
        if ($err !== null) {
            return false;
        } else {
            return true;
        }
    }    

3.移動單個文件到七牛

/**
     * 移動單個頭像到七牛
     * @param string  $remotePath 遠程文件在服務器上的物理地址
     * @param string  $qiniuPath  七牛文件地址
     */
    function oneFetch($remotePath,$qiniuPath){
        if(!url_exists($qiniuPath) && file_exists($remotePath)){
            require_once(COMMON_PATH."qiniu/rs.php");
            require_once(COMMON_PATH."qiniu/http.php");
            require_once(COMMON_PATH."qiniu/conf.php");
            
            $client = new Qiniu_MacHttpClient(NULL);
            /*$accessUrl 遠程文件訪問地址
            *$bucket桶
            *$key 存儲在七牛的文件名
            */
            $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key);
            
            if($ret != NULL)
            {
                $errlog = 'fail.log';//寫錯誤日志
                file_put_contents($errlog,    "{$key}\n", FILE_APPEND);
            }
            else
            {
                var_dump($ret);
            }
        }else{
            var_dump('已有頭像');
        }
        
    }

 

4.批量抓取

function t(){
        header("Content-type: text/html; charset=utf-8");
        set_time_limit(0);
        $start = intval($_GET['num']);//開始位置
        $str =  '';
        /*從數據庫查詢記錄*/
        $link = mysql_connect("localhost", "root", "root") or die("error");
        $db_selected = mysql_select_db("test", $link);
        mysql_query ("SET NAMES UTF8");
        $limit = 10;//每次查詢數
         $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}";  
         $result = mysql_query($sql) or die(mysql_error());
        
        if(mysql_num_rows($result))
        {
            while($row=mysql_fetch_assoc($result)){
                    oneFetch($row['remotePath'], $row['qiniuPath']);
            }    
            $start += 10;
            $url = "/t?num={$start}";
            $str = '已經更新'.$start.'條<br />';
            $str .= '<script>location.href="'.$url.'";</script>';//更新$limit條，跳轉防止腳本無響應
        }
        else
        {
            echo '結束';
        } 
        
        echo $str;
        ob_flush();
        flush();
        sleep(2);
        unset($sql,$result,$row);
    }