PHP下通過file_get_contents\curl的方法實現獲取遠程網頁內容(別忘了還有PhpRPC)


【php】PHP中file_get_contents()與file_put_contents()函數細節詳解

php函數file_get_contents(一)

案例:

早在2010年時候遇到過這樣的事情,因為file_get_contents函數造成服務器掛掉的情況,現在覺得很有必要總結下。

公司里有經常有這樣的業務,需要調用第三方公司提供的HTTP接口,在把接口提供的信息顯示到網頁上,代碼是這樣寫的: file_get_contents("http://example.com/") 。
有一天突然接到運維同事的報告,說是服務器掛了,查出原因說是因為file_get_contents函數造成的,那么為什么一個函數會把服務器給搞掛掉呢?
經過詳細的查詢發現第三方公司提供接口已經壞掉了,就是因為接口壞掉了,才導致服務器掛掉。
問題分析如下:
    我們代碼是“file_get_contents("http://example.com/") “獲取一個 URL 的返回內容,如果第三方公司提供的URL響應速度慢,或者出現問題,我們服務器的PHP程序將會一直執行去獲得這個URL,我 們知道,在 php.ini 中,有一個參數 max_execution_time 可以設置 PHP 腳本的最大執行時間,但是,在 php-cgi(php-fpm) 中,該參數不會起效。真正能夠控制 PHP 腳本最大執行時間的是 php-fpm.conf 配置文件中的以下參數: <value name="request_terminate_timeout">0s</value>   默認值為 0 秒,也就是說,PHP 腳本會一直執行下去,當請求越來越多的情況下會導致php-cgi 進程都卡在 file_get_contents() 函數時,這台 Nginx+PHP 的 WebServer 已經無法再處理新的 PHP 請求了,Nginx 將給用戶返回“502 Bad Gateway”。CPU的利用率達到100% ,時間一長服務器就會掛掉。
問題的解決:
     已經找到問題,那么我們該怎么解決呢?
     當時想到的解決問題的辦法就是設置PHP的超時時間,用set_time_limit; 設置超時時間,這樣就不會卡住了。代碼上線后發現服務器還是會掛掉,好像根本不起作用。后來查了資料才知道,set_time_limit設置的是PHP程序的超時時間,而不是file_get_contents函數讀取URL的超時時間。set_time_limit和修改php.ini文件里max_execution_time  效果是一樣的。
要設置file_get_contents函數的超時時間,可以用resource $context的timeout參數,代碼如下:
復制代碼
1 $opts = array( 2   'http'=>array( 3     'method'=>"GET", 4     'timeout'=>10, 5   ) 6 ); 7 $context = stream_context_create($opts); 8 $html =file_get_contents('http://www.example.com', false, $context); 9 echo $html;
復制代碼

代碼中的timeout就是file_get_contents讀取url的超時時間。

另外還有一個說法也可以改變讀取url的超時時間,就是修改php.ini中的default_socket_timeout的值,或者 ini_set('default_socket_timeout',    10);  但是我沒有測試過不知道行不行。
有了解決方法之后,服務器就不會掛掉了。
在解決的過程中我還發現起到關鍵作用的是stream_context_create方法,里面method 可以是GET,那么能否可以POST呢?還有沒有其他的參數?
還有一個為老同事告訴我們還有一個比file_get_contents更好的辦法,就是用CURL。
請看下面兩篇。

目錄(?)[+]

file_get_contents函數

一般的也就是使用file_get_contents($url),但是關於這個函數還有很多沒有注意到的地方。

先看關於手冊:

file_get_contents(path,include_path,context,start,max_length)

參數

描述

path

必需。規定要讀取的文件。

include_path

可選。如果也想在 include_path 中搜尋文件的話,可以將該參數設為 “1″。

context

可選。規定文件句柄的環境。

context 是一套可以修改流的行為的選項。若使用 null,則忽略。

start

可選。規定在文件中開始讀取的位置。該參數是 PHP 5.1 新加的。

max_length

可選。規定讀取的字節數。該參數是 PHP 5.1 新加的。

——————-可以選擇讀取文件位置和長度這個選項不錯。但是關於context的選項是做什么用的呢?

強大的context——stream_context_create

context 就是文本流的意思。而在php中創建文本流的函數是:stream_context_create

參看官方手冊:http://php.net/manual/en/function.stream-context-create.php

stream_context_create是用來創建打開文件的上下文件選項的,比如用POST訪問,使用代理,發送header等。看到沒有之前用 curl實現的所謂代理,post,header方法都可以使用file_get_contents+stream_context_create來實 現。

之前在《PHP批量采集下載美女圖片》中抱怨file_get_contents采集圖片時候經常會遇到慢資源造成cpu負載過高,不能設置超時時間,最后使用curl來實現,其實file_get_contents也可以設置超時時間。

file_get_contents超時設置

1 $opts = array('http'=>array('timeout'=>10));
2 $context = stream_context_create($opts);
3 echo file_get_contents($url,false,$context);

這樣就可以實現設置10s的超時時間

更強大的file_get_contents

file_get_contents實現post

參看官方手冊的例子

1 $opts = array('http' =>
2   array(
3     'method'  => 'POST',
4     'header'  => "Content-Type: text/xmlrn".
5       "Authorization: Basic ".base64_encode("$https_user:$https_password")."rn",
6     'content' => $body,
7     'timeout' => 60
8   )
9 );
10  
11 $context  = stream_context_create($opts);
12 $url = 'https://'.$https_server;
13 $result = file_get_contents($url, false, $context, -1, 40000);

還可以實現get請求,header代理等等功能,理論上curl可以實現的功能file_get_contents都可以實現,但是關於 stream_context_create的解釋網絡上資源不是很多,也注定在采集程序方面curl的應用更廣,另外curl是一種通信模式,不是單純 的php-curl。

之前寫過關於解決gzip亂碼的問題《:file_get_contents獲取gzip網頁亂碼

更多高級使用方法參看官方手冊的實例:http://php.net/manual/en/function.stream-context-create.phphttp://php.net/manual/en/function.file-get-contents.php

file_put_contents函數

語法:

file_put_contents(file,data,mode,context)

參數

描述

file

必需。規定要寫入數據的文件。如果文件不存在,則創建一個新文件。

data

可選。規定要寫入文件的數據。可以是字符串、數組或數據流。

mode

可選。規定如何打開/寫入文件。可能的值:

  • FILE_USE_INCLUDE_PATH
  • FILE_APPEND
  • LOCK_EX

context

可選。規定文件句柄的環境。

context 是一套可以修改流的行為的選項。若使用 null,則忽略。

注意事項:

  1. file_put_contents等於依次調用 fopen(),fwrite() 以及 fclose() 功能一樣,但是效率要更高。
  2. data不僅僅是字符串,也包括數組格式和文本流,當是數組格式的時候(只能是一維數組,不能是多維數組),需要把數組分割implode(”, $array), 其實還是轉換為字符串,如果不分割的話文本存儲的內容就是$array[0]$array[1]$array[2]$array[3]這種,不利於讀取。 文本流這個就更好理解了,例如存儲file_get_contents(‘aa.jpg’)這一張圖片的二進制流也是可以存儲的。
  3. 模式:FILE_APPEND 是追加模式,默認的寫入方式是覆蓋之前的內容,但是使用FILE_APPEND 模式后就可以不覆蓋之前的內容了。LOCK_EX是文本鎖,防止並行寫入沖突。
  4. context 和上面的file_get_contents一樣,可以增加文本流選項,官方的一個例子
1 <?php
2  /* set the FTP hostname */
3  $user = "test";
4  $pass = "myFTP";
5  $host = "example.com";
6  $file = "test.txt";
7  $hostname = $user . ":" . $pass . "@" . $host . "/" . $file;
8  
9  /* the file content */
10  $content = "this is just a test.";
11  
12  /* create a stream context telling PHP to overwrite the file */
13  $options = array('ftp' => array('overwrite' => true));
14  $stream = stream_context_create($options);
15  
16  /* and finally, put the contents */
17  file_put_contents($hostname, $content, 0, $stream);
18 ?>

PHP中使用CURL實現GET和POST請求

一、什么是CURL?

cURL 是一個利用URL語法規定來傳輸文件和數據的工具,支持很多協議,如HTTP、FTP、TELNET等。最爽的是,PHP也支持 cURL 庫。使用PHP的cURL庫可以簡單和有效地去抓網頁。你只需要運行一個腳本,然后分析一下你所抓取的網頁,然后就可以以程序的方式得到你想要的數據了。 無論是你想從從一個鏈接上取部分數據,或是取一個XML文件並把其導入數據庫,那怕就是簡單的獲取網頁內容,cURL 是一個功能強大的PHP庫。

 

二、CURL函數庫。

curl_close — 關閉一個curl會話
curl_copy_handle — 拷貝一個curl連接資源的所有內容和參數
curl_errno — 返回一個包含當前會話錯誤信息的數字編號
curl_error — 返回一個包含當前會話錯誤信息的字符串
curl_exec — 執行一個curl會話
curl_getinfo — 獲取一個curl連接資源句柄的信息
curl_init — 初始化一個curl會話
curl_multi_add_handle — 向curl批處理會話中添加單獨的curl句柄資源
curl_multi_close — 關閉一個批處理句柄資源
curl_multi_exec — 解析一個curl批處理句柄
curl_multi_getcontent — 返回獲取的輸出的文本流
curl_multi_info_read — 獲取當前解析的curl的相關傳輸信息
curl_multi_init — 初始化一個curl批處理句柄資源
curl_multi_remove_handle — 移除curl批處理句柄資源中的某個句柄資源
curl_multi_select — Get all the sockets associated with the cURL extension, which can then be “selected”
curl_setopt_array — 以數組的形式為一個curl設置會話參數
curl_setopt — 為一個curl設置會話參數
curl_version — 獲取curl相關的版本信息

curl_init()函數的作用初始化一個curl會話,curl_init()函數唯一的一個參數是可選的,表示一個url地址。
curl_exec()函數的作用是執行一個curl會話,唯一的參數是curl_init()函數返回的句柄。
curl_close()函數的作用是關閉一個curl會話,唯一的參數是curl_init()函數返回的句柄。

 

三、PHP建立CURL請求的基本步驟

①:初始化

curl_init()

②:設置屬性

curl_setopt().有一長串cURL參數可供設置,它們能指定URL請求的各個細節。

③:執行並獲取結果

curl_exec()

④:釋放句柄

curl_close()

 

四、CURL實現GET和POST

①:GET方式實現

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<?php
    //初始化
    $curl = curl_init();
    //設置抓取的url
    curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com');
    //設置頭文件的信息作為數據流輸出
    curl_setopt($curl, CURLOPT_HEADER, 1);
    //設置獲取的信息以文件流的形式返回,而不是直接輸出。
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    //執行命令
    $data = curl_exec($curl);
    //關閉URL請求
    curl_close($curl);
    //顯示獲得的數據
    print_r($data);
?>

運行結果:

image

②:POST方式實現

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<?php
    //初始化
    $curl = curl_init();
    //設置抓取的url
    curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com');
    //設置頭文件的信息作為數據流輸出
    curl_setopt($curl, CURLOPT_HEADER, 1);
    //設置獲取的信息以文件流的形式返回,而不是直接輸出。
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    //設置post方式提交
    curl_setopt($curl, CURLOPT_POST, 1);
    //設置post數據
    $post_data = array(
        "username" => "coder",
        "password" => "12345"
        );
    curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data);
    //執行命令
    $data = curl_exec($curl);
    //關閉URL請求
    curl_close($curl);
    //顯示獲得的數據
    print_r($data);
?>

③:如果獲得的數據時json格式的,使用json_decode函數解釋成數組。

$output_array = json_decode($output,true);

如果使用json_decode($output)解析的話,將會得到object類型的數據。

 

五、我自己封裝的一個函數

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
  //參數1:訪問的URL,參數2:post數據(不填則為GET),參數3:提交的$cookies,參數4:是否返回$cookies
 function curl_request($url,$post='',$cookie='', $returnCookie=0){
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $url);
        curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)');
        curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($curl, CURLOPT_AUTOREFERER, 1);
        curl_setopt($curl, CURLOPT_REFERER, "http://XXX");
        if($post) {
            curl_setopt($curl, CURLOPT_POST, 1);
            curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));
        }
        if($cookie) {
            curl_setopt($curl, CURLOPT_COOKIE, $cookie);
        }
        curl_setopt($curl, CURLOPT_HEADER, $returnCookie);
        curl_setopt($curl, CURLOPT_TIMEOUT, 10);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $data = curl_exec($curl);
        if (curl_errno($curl)) {
            return curl_error($curl);
        }
        curl_close($curl);
        if($returnCookie){
            list($header, $body) = explode("\r\n\r\n", $data, 2);
            preg_match_all("/Set\-Cookie:([^;]*);/", $header, $matches);
            $info['cookie']  = substr($matches[1][0], 1);
            $info['content'] = $body;             return $info;         }else{             return $data;         } }

 

附可選參數說明:

第一類:
對於下面的這些option的可選參數,value應該被設置一個bool類型的值:
選項
可選value值
備注
CURLOPT_AUTOREFERER
當根據Location:重定向時,自動設置header中的Referer:信息。
CURLOPT_BINARYTRANSFER
在啟用CURLOPT_RETURNTRANSFER的時候,返回原生的(Raw)輸出。
CURLOPT_COOKIESESSION
啟用時curl會僅僅傳遞一個session cookie,忽略其他的cookie,默認狀況下cURL會將所有的cookie返回給服務端。session cookie是指那些用來判斷服務器端的session是否有效而存在的cookie。
CURLOPT_CRLF
啟用時將Unix的換行符轉換成回車換行符。
CURLOPT_DNS_USE_GLOBAL_CACHE
啟用時會啟用一個全局的DNS緩存,此項為線程安全的,並且默認啟用。
CURLOPT_FAILONERROR
顯示HTTP狀態碼,默認行為是忽略編號小於等於400的HTTP信息。
CURLOPT_FILETIME
啟用時會嘗試修改遠程文檔中的信息。結果信息會通過 curl_getinfo()函數的CURLINFO_FILETIME選項返回。curl_getinfo().
CURLOPT_FOLLOWLOCATION
啟用時會將服務器服務器返回的”Location: “放在header中遞歸的返回給服務器,使用CURLOPT_MAXREDIRS可以限定遞歸返回的數量。
CURLOPT_FORBID_REUSE
在完成交互以后強迫斷開連接,不能重用。
CURLOPT_FRESH_CONNECT
強制獲取一個新的連接,替代緩存中的連接。
CURLOPT_FTP_USE_EPRT
啟用時當FTP下載時,使用EPRT (或 LPRT)命令。設置為FALSE時禁用EPRT和LPRT,使用PORT命令 only.
CURLOPT_FTP_USE_EPSV
啟用時,在FTP傳輸過程中回復到PASV模式前首先嘗試EPSV命令。設置為FALSE時禁用EPSV命令。
CURLOPT_FTPAPPEND
啟用時追加寫入文件而不是覆蓋它。
CURLOPT_FTPASCII
CURLOPT_TRANSFERTEXT的別名。
CURLOPT_FTPLISTONLY
啟用時只列出FTP目錄的名字。
CURLOPT_HEADER
啟用時會將頭文件的信息作為數據流輸出。
CURLINFO_HEADER_OUT
啟用時追蹤句柄的請求字符串。
從 PHP 5.1.3 開始可用。CURLINFO_前綴是故意的(intentional)。
CURLOPT_HTTPGET
啟用時會設置HTTP的method為GET,因為GET是默認是,所以只在被修改的情況下使用。
CURLOPT_HTTPPROXYTUNNEL
啟用時會通過HTTP代理來傳輸。
CURLOPT_MUTE
啟用時將cURL函數中所有修改過的參數恢復默認值。
CURLOPT_NETRC
在連接建立以后,訪問~/.netrc文件獲取用戶名和密碼信息連接遠程站點。
CURLOPT_NOBODY
啟用時將不對HTML中的BODY部分進行輸出。
CURLOPT_NOPROGRESS
啟用時關閉curl傳輸的進度條,此項的默認設置為啟用。
Note:
PHP自動地設置這個選項為TRUE,這個選項僅僅應當在以調試為目的時被改變。
CURLOPT_NOSIGNAL
啟用時忽略所有的curl傳遞給php進行的信號。在SAPI多線程傳輸時此項被默認啟用。
cURL 7.10時被加入。
CURLOPT_POST
啟用時會發送一個常規的POST請求,類型為:application/x-www-form-urlencoded,就像表單提交的一樣。
CURLOPT_PUT
啟用時允許HTTP發送文件,必須同時設置CURLOPT_INFILE和CURLOPT_INFILESIZE。
CURLOPT_RETURNTRANSFER
將 curl_exec()獲取的信息以文件流的形式返回,而不是直接輸出。
CURLOPT_SSL_VERIFYPEER
禁 用后cURL將終止從服務端進行驗證。使用CURLOPT_CAINFO選項設置證書使用CURLOPT_CAPATH選項設置證書目錄 如果CURLOPT_SSL_VERIFYPEER(默認值為2)被啟用,CURLOPT_SSL_VERIFYHOST需要被設置成TRUE否則設置為 FALSE。
自cURL 7.10開始默認為TRUE。從cURL 7.10開始默認綁定安裝。
CURLOPT_TRANSFERTEXT
啟用后對FTP傳輸使用ASCII模式。對於LDAP,它檢索純文本信息而非HTML。在Windows系統上,系統不會把STDOUT設置成binary模式。
CURLOPT_UNRESTRICTED_AUTH
在使用CURLOPT_FOLLOWLOCATION產生的header中的多個locations中持續追加用戶名和密碼信息,即使域名已發生改變。
CURLOPT_UPLOAD
啟用后允許文件上傳。
CURLOPT_VERBOSE
啟用時會匯報所有的信息,存放在STDERR或指定的CURLOPT_STDERR中。

第二類:
對於下面的這些option的可選參數,value應該被設置一個integer類型的值:
選項
可選value值
備注
CURLOPT_BUFFERSIZE
每次獲取的數據中讀入緩存的大小,但是不保證這個值每次都會被填滿。
在cURL 7.10中被加入。
CURLOPT_CLOSEPOLICY
不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST,還存在另外三個CURLCLOSEPOLICY_,但是cURL暫時還不支持。
CURLOPT_CONNECTTIMEOUT
在發起連接前等待的時間,如果設置為0,則無限等待。
CURLOPT_CONNECTTIMEOUT_MS
嘗試連接等待的時間,以毫秒為單位。如果設置為0,則無限等待。
在cURL 7.16.2中被加入。從PHP 5.2.3開始可用。
CURLOPT_DNS_CACHE_TIMEOUT
設置在內存中保存DNS信息的時間,默認為120秒。
CURLOPT_FTPSSLAUTH
FTP驗證方式:CURLFTPAUTH_SSL (首先嘗試SSL),CURLFTPAUTH_TLS (首先嘗試TLS)或CURLFTPAUTH_DEFAULT (讓cURL自動決定)。
在cURL 7.12.2中被加入。
CURLOPT_HTTP_VERSION
CURL_HTTP_VERSION_NONE (默認值,讓cURL自己判斷使用哪個版本),CURL_HTTP_VERSION_1_0 (強制使用 HTTP/1.0)或CURL_HTTP_VERSION_1_1 (強制使用 HTTP/1.1)。
CURLOPT_HTTPAUTH
使用的HTTP驗證方法,可選的值有:CURLAUTH_BASIC、CURLAUTH_DIGEST、CURLAUTH_GSSNEGOTIATE、CURLAUTH_NTLM、CURLAUTH_ANY和CURLAUTH_ANYSAFE。
可以使用|位域(或)操作符分隔多個值,cURL讓服務器選擇一個支持最好的值。
CURLAUTH_ANY等價於CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM.
CURLAUTH_ANYSAFE等價於CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM.
CURLOPT_INFILESIZE
設定上傳文件的大小限制,字節(byte)為單位。
CURLOPT_LOW_SPEED_LIMIT
當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。
CURLOPT_LOW_SPEED_TIME
當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。
CURLOPT_MAXCONNECTS
允許的最大連接數量,超過是會通過CURLOPT_CLOSEPOLICY決定應該停止哪些連接。
CURLOPT_MAXREDIRS
指定最多的HTTP重定向的數量,這個選項是和CURLOPT_FOLLOWLOCATION一起使用的。
CURLOPT_PORT
用來指定連接端口。(可選項)
CURLOPT_PROTOCOLS
CURLPROTO_* 的位域指。如果被啟用,位域值會限定libcurl在傳輸過程中有哪些可使用的協議。這將允許你在編譯libcurl時支持眾多協議,但是限制只是用它們 中被允許使用的一個子集。默認libcurl將會使用全部它支持的協議。參見CURLOPT_REDIR_PROTOCOLS.
可用的協議選項 為:CURLPROTO_HTTP、CURLPROTO_HTTPS、CURLPROTO_FTP、CURLPROTO_FTPS、 CURLPROTO_SCP、CURLPROTO_SFTP、CURLPROTO_TELNET、CURLPROTO_LDAP、 CURLPROTO_LDAPS、CURLPROTO_DICT、CURLPROTO_FILE、CURLPROTO_TFTP、 CURLPROTO_ALL
在cURL 7.19.4中被加入。
CURLOPT_PROXYAUTH
HTTP代理連接的驗證方式。使用在CURLOPT_HTTPAUTH中的位域標志來設置相應選項。對於代理驗證只有CURLAUTH_BASIC和CURLAUTH_NTLM當前被支持。
在cURL 7.10.7中被加入。
CURLOPT_PROXYPORT
代理服務器的端口。端口也可以在CURLOPT_PROXY中進行設置。
CURLOPT_PROXYTYPE
不是CURLPROXY_HTTP (默認值) 就是CURLPROXY_SOCKS5。
在cURL 7.10中被加入。
CURLOPT_REDIR_PROTOCOLS
CURLPROTO_* 中的位域值。如果被啟用,位域值將會限制傳輸線程在CURLOPT_FOLLOWLOCATION開啟時跟隨某個重定向時可使用的協議。這將使你對重定向 時限制傳輸線程使用被允許的協議子集默認libcurl將會允許除FILE和SCP之外的全部協議。這個和7.19.4預發布版本種無條件地跟隨所有支持 的協議有一些不同。關於協議常量,請參照CURLOPT_PROTOCOLS。
在cURL 7.19.4中被加入。
CURLOPT_RESUME_FROM
在恢復傳輸時傳遞一個字節偏移量(用來斷點續傳)。
CURLOPT_SSL_VERIFYHOST
1 檢查服務器SSL證書中是否存在一個公用名(common name)。譯者注:公用名(Common Name)一般來講就是填寫你將要申請SSL證書的域名 (domain)或子域名(sub domain)。2 檢查公用名是否存在,並且是否與提供的主機名匹配。
CURLOPT_SSLVERSION
使用的SSL版本(2 或 3)。默認情況下PHP會自己檢測這個值,盡管有些情況下需要手動地進行設置。
CURLOPT_TIMECONDITION
如 果在CURLOPT_TIMEVALUE指定的某個時間以后被編輯過,則使用CURL_TIMECOND_IFMODSINCE返回頁面,如果沒有被修改 過,並且CURLOPT_HEADER為true,則返回一個”304 Not Modified”的header,        CURLOPT_HEADER為false,則使用CURL_TIMECOND_IFUNMODSINCE,默認值為 CURL_TIMECOND_IFUNMODSINCE。
CURLOPT_TIMEOUT
設置cURL允許執行的最長秒數。
CURLOPT_TIMEOUT_MS
設置cURL允許執行的最長毫秒數。
在cURL 7.16.2中被加入。從PHP 5.2.3起可使用。
CURLOPT_TIMEVALUE
設置一個CURLOPT_TIMECONDITION使用的時間戳,在默認狀態下使用的是CURL_TIMECOND_IFMODSINCE。

第三類:
對於下面的這些option的可選參數,value應該被設置一個string類型的值:
選項
可選value值
備注
CURLOPT_CAINFO
一個保存着1個或多個用來讓服務端驗證的證書的文件名。這個參數僅僅在和CURLOPT_SSL_VERIFYPEER一起使用時才有意義。 .
CURLOPT_CAPATH
一個保存着多個CA證書的目錄。這個選項是和CURLOPT_SSL_VERIFYPEER一起使用的。
CURLOPT_COOKIE
設定HTTP請求中”Cookie: “部分的內容。多個cookie用分號分隔,分號后帶一個空格(例如, “fruit=apple; colour=red”)。
CURLOPT_COOKIEFILE
包含cookie數據的文件名,cookie文件的格式可以是Netscape格式,或者只是純HTTP頭部信息存入文件。
CURLOPT_COOKIEJAR
連接結束后保存cookie信息的文件。
CURLOPT_CUSTOMREQUEST
使 用一個自定義的請求信息來代替”GET”或”HEAD”作為HTTP請求。這對於執行”DELETE” 或者其他更隱蔽的HTTP請求。有效值如”GET”,”POST”,”CONNECT”等等。也就是說,不要在這里輸入整個HTTP請求。例如輸 入”GET /index.html HTTP/1.0\r\n\r\n”是不正確的。
Note:
在確定服務器支持這個自定義請求的方法前不要使用。
CURLOPT_EGDSOCKET
類似CURLOPT_RANDOM_FILE,除了一個Entropy Gathering Daemon套接字。
CURLOPT_ENCODING
HTTP請求頭中”Accept-Encoding: “的值。支持的編碼有”identity”,”deflate”和”gzip”。如果為空字符串””,請求頭會發送所有支持的編碼類型。
在cURL 7.10中被加入。
CURLOPT_FTPPORT
這個值將被用來獲取供FTP”POST”指令所需要的IP地址。”POST”指令告訴遠程服務器連接到我們指定的IP地址。這個字符串可以是純文本的IP地址、主機名、一個網絡接口名(UNIX下)或者只是一個’-’來使用默認的IP地址。
CURLOPT_INTERFACE
網絡發送接口名,可以是一個接口名、IP地址或者是一個主機名。
CURLOPT_KRB4LEVEL
KRB4 (Kerberos 4) 安全級別。下面的任何值都是有效的(從低到高的順序):”clear”、”safe”、”confidential”、”private”.。如果字符串 和這些都不匹配,將使用”private”。這個選項設置為NULL時將禁用KRB4 安全認證。目前KRB4 安全認證只能用於FTP傳輸。
CURLOPT_POSTFIELDS
全 部數據使用HTTP協議中的”POST”操作來發送。要發送文件,在文件名前面加上@前綴並使用完整路徑。這個參數可以通過urlencoded后的字符 串類似’para1=val1¶2=val2&…’或使用一個以字段名為鍵值,字段數據為值的數組。如果value是一個數組,Content- Type頭將會被設置成multipart/form-data。
CURLOPT_PROXY
HTTP代理通道。
CURLOPT_PROXYUSERPWD
一個用來連接到代理的”[username]:[password]“格式的字符串。
CURLOPT_RANDOM_FILE
一個被用來生成SSL隨機數種子的文件名。
CURLOPT_RANGE
以”X-Y”的形式,其中X和Y都是可選項獲取數據的范圍,以字節計。HTTP傳輸線程也支持幾個這樣的重復項中間用逗號分隔如”X-Y,N-M”。
CURLOPT_REFERER
在HTTP請求頭中”Referer: “的內容。
CURLOPT_SSL_CIPHER_LIST
一個SSL的加密算法列表。例如RC4-SHA和TLSv1都是可用的加密列表。
CURLOPT_SSLCERT
一個包含PEM格式證書的文件名。
CURLOPT_SSLCERTPASSWD
使用CURLOPT_SSLCERT證書需要的密碼。
CURLOPT_SSLCERTTYPE
證書的類型。支持的格式有”PEM” (默認值), “DER”和”ENG”。
在cURL 7.9.3中被加入。
CURLOPT_SSLENGINE
用來在CURLOPT_SSLKEY中指定的SSL私鑰的加密引擎變量。
CURLOPT_SSLENGINE_DEFAULT
用來做非對稱加密操作的變量。
CURLOPT_SSLKEY
包含SSL私鑰的文件名。
CURLOPT_SSLKEYPASSWD
在CURLOPT_SSLKEY中指定了的SSL私鑰的密碼。
Note:
由於這個選項包含了敏感的密碼信息,記得保證這個PHP腳本的安全。
CURLOPT_SSLKEYTYPE
CURLOPT_SSLKEY中規定的私鑰的加密類型,支持的密鑰類型為”PEM”(默認值)、”DER”和”ENG”。
CURLOPT_URL
需要獲取的URL地址,也可以在 curl_init()函數中設置。
CURLOPT_USERAGENT
在HTTP請求中包含一個”User-Agent: “頭的字符串。
CURLOPT_USERPWD
傳遞一個連接中需要的用戶名和密碼,格式為:”[username]:[password]“。

第四類
對於下面的這些option的可選參數,value應該被設置一個數組:
選項
可選value值
備注

CURLOPT_HTTP200ALIASES
200響應碼數組,數組中的響應嗎被認為是正確的響應,否則被認為是錯誤的。
在cURL 7.10.3中被加入。
CURLOPT_HTTPHEADER
一個用來設置HTTP頭字段的數組。使用如下的形式的數組進行設置: array(‘Content-type: text/plain’, ‘Content-length: 100′)
CURLOPT_POSTQUOTE
在FTP請求執行完成后,在服務器上執行的一組FTP命令。
CURLOPT_QUOTE
一組先於FTP請求的在服務器上執行的FTP命令。

對於下面的這些option的可選參數,value應該被設置一個流資源 (例如使用 fopen()):
選項
可選value值
CURLOPT_FILE
設置輸出文件的位置,值是一個資源類型,默認為STDOUT (瀏覽器)。
CURLOPT_INFILE
在上傳文件的時候需要讀取的文件地址,值是一個資源類型。
CURLOPT_STDERR
設置一個錯誤輸出地址,值是一個資源類型,取代默認的STDERR。
CURLOPT_WRITEHEADER
設置header部分內容的寫入的文件地址,值是一個資源類型。
對於下面的這些option的可選參數,value應該被設置為一個回調函數名:
選項
可選value值
CURLOPT_HEADERFUNCTION
設置一個回調函數,這個函數有兩個參數,第一個是cURL的資源句柄,第二個是輸出的header數據。header數據的輸出必須依賴這個函數,返回已寫入的數據大小。
CURLOPT_PASSWDFUNCTION
設置一個回調函數,有三個參數,第一個是cURL的資源句柄,第二個是一個密碼提示符,第三個參數是密碼長度允許的最大值。返回密碼的值。
CURLOPT_PROGRESSFUNCTION
設置一個回調函數,有三個參數,第一個是cURL的資源句柄,第二個是一個文件描述符資源,第三個是長度。返回包含的數據。

CURLOPT_READFUNCTION
擁有兩個參數的回調函數,第一個是參數是會話句柄,第二是HTTP響應頭信息的字符串。使用此函數,將自行處理返回的數據。返回值為數據大小,以字節計。返回0代表EOF信號。
CURLOPT_WRITEFUNCTION
擁有兩個參數的回調函數,第一個是參數是會話句柄,第二是HTTP響應頭信息的字符串。使用此回調函數,將自行處理響應頭信息。響應頭信息是整個字符串。設置返回值為精確的已寫入字符串長度。發生錯誤時傳輸線程終止。

 

PHP中fopen,file_get_contents,curl函數的區別:

1.fopen /file_get_contents 每次請求都會重新做DNS查詢,並不對 DNS信息進行緩存。但是CURL會自動對DNS信息進行緩存。對同一域名下的網頁或者圖片的請求只需要一次DNS查詢。這大大減少了DNS查詢的次數。所以CURL的性能比fopen /file_get_contents 好很多。

2.fopen /file_get_contents 在請求HTTP時,使用的是http_fopen_wrapper,不會keeplive。而curl卻可以。這樣在多次請求多個鏈接時,curl效率會好一些。

3.fopen / file_get_contents 函數會受到php.ini文件中allow_url_open選項配置的影響。如果該配置關閉了,則該函數也就失效了。而curl不受該配置的影響。

4.curl 可以模擬多種請求,例如:POST數據,表單提交等,用戶可以按照自己的需求來定制請求。而fopen / file_get_contents只能使用get方式獲取數據。
file_get_contents 獲取遠程文件時會把結果都存在一個字符串中 fiels函數則會儲存成數組形式

因此,我還是比較傾向於使用curl來訪問遠程url。Php有curl模塊擴展,功能很是強大。

這是別人做過的關於curl和file_get_contents的測試:

file_get_contents抓取google.com需用秒數:
2.31319094
2.30374217
2.21512604
3.30553889
2.30124092

curl使用的時間:
0.68719101
0.64675593
0.64326
0.81983113
0.63956594

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM