轉載自http://blog.csdn.net/yanhui_wei/article/details/21530811
分類:【php深入研究】
這幾天在幫一些同學處理問題的時候,突然發現這些同學是使用file_get_contents()函數來采集頁面內容的,貌似都沒有curl的概念亦或是對這種工具特別不敏感,
本文我來給大家詳細介紹下cURL的簡單的使用方法,下文我將會給大家詳細介紹cURL的高級應用,
好,廢話不多說,我們先來認識下什么是cURL,可能還有很多同學沒有聽說過這個工具,我先來給大家簡單介紹下什么是cURL:
cURL可以使用URL的語法模擬瀏覽器來傳輸數據,
因為它是模擬瀏覽器,因此它同樣支持多種協議,
FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP等協議都可以很好的支持,包括一些:
HTTPS認證,HTTP POST方法,HTTP PUT方法,FTP上傳,keyberos認證,HTTP上傳,代理服務器,cookies,用戶名/密碼認證,
下載文件斷點續傳,上傳文件斷點續傳,http代理服務器管道,甚至它還支持IPv6,scoket5代理服務器,通過http代理服務器上傳文件
到FTP服務器等等。
這就是我們為什么要使用cURL的原因!
使用cURL完成簡單的請求主要分為以下四步:
1.初始化,創建一個新cURL資源
2.設置URL和相應的選項
3.抓取URL並把它傳遞給瀏覽器
4.關閉cURL資源,並且釋放系統資源
我們來采集一個頁面,通常情況下,我們會使用file_get_contents()函數來獲取:
像這樣:
- <?php
- $str = file_get_contents('http://bbs.lampbrother.net');
- //或者是:
- $str = file("http://bbs.lampbrother.net");
- //或者是:
- readfile("http://bbs.lampbrother.net");
- ?>
這樣我們會發現,我們沒有辦法有效地進行錯誤處理,更重要的是我們沒有辦法完成一些高難度的任務:
如:處理cookies,驗證,表單提交,文件上傳等等。
好,現在我們來用代碼完成上述cURL的四步:
- <?php
- //1.初始化,創建一個新cURL資源
- $ch = curl_init();
- //2.設置URL和相應的選項
- curl_setopt($ch, CURLOPT_URL, "http://www.lampbrothr.net/");
- curl_setopt($ch, CURLOPT_HEADER, 0);
- //3.抓取URL並把它傳遞給瀏覽器
- curl_exec($ch);
- //4.關閉cURL資源,並且釋放系統資源
- curl_close($ch);
- ?>
上述四步中,其中第二步最為關鍵,可以設置一些高級選項:
例如上例中的CURLOPT_URL和CURLOPT_HEADER,分別代表“需要獲取的URL地址”和“啟用時會將頭文件的信息作為數據流輸出”,這些只是冰山一角,我們還可以設置很多選項:
選項 |
可選value值 |
備注 |
CURLOPT_AUTOREFERER |
當根據Location:重定向時,自動設置header中的Referer:信息。 |
|
CURLOPT_BINARYTRANSFER |
在啟用CURLOPT_RETURNTRANSFER的時候,返回原生的(Raw)輸出。 |
|
CURLOPT_COOKIESESSION |
啟用時curl會僅僅傳遞一個session cookie,忽略其他的cookie,默認狀況下cURL會將所有的cookie返回給服務端。session cookie是指那些用來判斷服務器端的session是否有效而存在的cookie。 |
|
CURLOPT_CRLF |
啟用時將Unix的換行符轉換成回車換行符。 |
|
CURLOPT_DNS_USE_GLOBAL_CACHE |
啟用時會啟用一個全局的DNS緩存,此項為線程安全的,並且默認啟用。 |
|
CURLOPT_FAILONERROR |
顯示HTTP狀態碼,默認行為是忽略編號小於等於400的HTTP信息。 |
|
CURLOPT_FILETIME |
啟用時會嘗試修改遠程文檔中的信息。結果信息會通過curl_getinfo()函數的CURLINFO_FILETIME選項返回。 curl_getinfo(). |
|
CURLOPT_FOLLOWLOCATION |
啟用時會將服務器服務器返回的"Location: "放在header中遞歸的返回給服務器,使用CURLOPT_MAXREDIRS可以限定遞歸返回的數量。 |
|
CURLOPT_FORBID_REUSE |
在完成交互以后強迫斷開連接,不能重用。 |
|
CURLOPT_FRESH_CONNECT |
強制獲取一個新的連接,替代緩存中的連接。 |
|
CURLOPT_FTP_USE_EPRT |
啟用時當FTP下載時,使用EPRT (或 LPRT)命令。設置為FALSE時禁用EPRT和LPRT,使用PORT命令 only. |
|
CURLOPT_FTP_USE_EPSV |
啟用時,在FTP傳輸過程中回復到PASV模式前首先嘗試EPSV命令。設置為FALSE時禁用EPSV命令。 |
|
CURLOPT_FTPAPPEND |
啟用時追加寫入文件而不是覆蓋它。 |
|
CURLOPT_FTPASCII |
CURLOPT_TRANSFERTEXT的別名。 |
|
CURLOPT_FTPLISTONLY |
啟用時只列出FTP目錄的名字。 |
|
CURLOPT_HEADER |
啟用時會將頭文件的信息作為數據流輸出。 |
|
CURLINFO_HEADER_OUT |
啟用時追蹤句柄的請求字符串。 |
從 PHP 5.1.3 開始可用。CURLINFO_前綴是故意的(intentional)。 |
CURLOPT_HTTPGET |
啟用時會設置HTTP的method為GET,因為GET是默認是,所以只在被修改的情況下使用。 |
|
CURLOPT_HTTPPROXYTUNNEL |
啟用時會通過HTTP代理來傳輸。 |
|
CURLOPT_MUTE |
啟用時將cURL函數中所有修改過的參數恢復默認值。 |
|
CURLOPT_NETRC |
在連接建立以后,訪問~/.netrc文件獲取用戶名和密碼信息連接遠程站點。 |
|
CURLOPT_NOBODY |
啟用時將不對HTML中的BODY部分進行輸出。 |
|
CURLOPT_NOPROGRESS |
|
|
CURLOPT_NOSIGNAL |
啟用時忽略所有的curl傳遞給php進行的信號。在SAPI多線程傳輸時此項被默認啟用。 |
cURL 7.10時被加入。 |
CURLOPT_POST |
啟用時會發送一個常規的POST請求,類型為:application/x-www-form-urlencoded,就像表單提交的一樣。 |
|
CURLOPT_PUT |
啟用時允許HTTP發送文件,必須同時設置CURLOPT_INFILE和CURLOPT_INFILESIZE。 |
|
CURLOPT_RETURNTRANSFER |
將curl_exec()獲取的信息以文件流的形式返回,而不是直接輸出。 |
|
CURLOPT_SSL_VERIFYPEER |
禁用后cURL將終止從服務端進行驗證。使用CURLOPT_CAINFO選項設置證書使用CURLOPT_CAPATH選項設置證書目錄 如果CURLOPT_SSL_VERIFYPEER(默認值為2)被啟用,CURLOPT_SSL_VERIFYHOST需要被設置成TRUE否則設置為FALSE。 |
自cURL 7.10開始默認為TRUE。從cURL 7.10開始默認綁定安裝。 |
CURLOPT_TRANSFERTEXT |
啟用后對FTP傳輸使用ASCII模式。對於LDAP,它檢索純文本信息而非HTML。在Windows系統上,系統不會把STDOUT設置成binary模式。 |
|
CURLOPT_UNRESTRICTED_AUTH |
在使用CURLOPT_FOLLOWLOCATION產生的header中的多個locations中持續追加用戶名和密碼信息,即使域名已發生改變。 |
|
CURLOPT_UPLOAD |
啟用后允許文件上傳。 |
|
CURLOPT_VERBOSE |
啟用時會匯報所有的信息,存放在STDERR或指定的CURLOPT_STDERR中。 |
|
對於下面的這些option的可選參數,value應該被設置一個integer類型的值:
選項 |
可選value值 |
備注 |
CURLOPT_BUFFERSIZE |
每次獲取的數據中讀入緩存的大小,但是不保證這個值每次都會被填滿。 |
在cURL 7.10中被加入。 |
CURLOPT_CLOSEPOLICY |
不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST,還存在另外三個CURLCLOSEPOLICY_,但是cURL暫時還不支持。 |
|
CURLOPT_CONNECTTIMEOUT |
在發起連接前等待的時間,如果設置為0,則無限等待。 |
|
CURLOPT_CONNECTTIMEOUT_MS |
嘗試連接等待的時間,以毫秒為單位。如果設置為0,則無限等待。 |
在cURL 7.16.2中被加入。從PHP 5.2.3開始可用。 |
CURLOPT_DNS_CACHE_TIMEOUT |
設置在內存中保存DNS信息的時間,默認為120秒。 |
|
CURLOPT_FTPSSLAUTH |
FTP驗證方式:CURLFTPAUTH_SSL (首先嘗試SSL),CURLFTPAUTH_TLS (首先嘗試TLS)或CURLFTPAUTH_DEFAULT (讓cURL自動決定)。 |
在cURL 7.12.2中被加入。 |
CURLOPT_HTTP_VERSION |
CURL_HTTP_VERSION_NONE (默認值,讓cURL自己判斷使用哪個版本),CURL_HTTP_VERSION_1_0 (強制使用 HTTP/1.0)或CURL_HTTP_VERSION_1_1 (強制使用 HTTP/1.1)。 |
|
CURLOPT_HTTPAUTH |
|
|
CURLOPT_INFILESIZE |
設定上傳文件的大小限制,字節(byte)為單位。 |
|
CURLOPT_LOW_SPEED_LIMIT |
當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。 |
|
CURLOPT_LOW_SPEED_TIME |
當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。 |
|
CURLOPT_MAXCONNECTS |
允許的最大連接數量,超過是會通過CURLOPT_CLOSEPOLICY決定應該停止哪些連接。 |
|
CURLOPT_MAXREDIRS |
指定最多的HTTP重定向的數量,這個選項是和CURLOPT_FOLLOWLOCATION一起使用的。 |
|
CURLOPT_PORT |
用來指定連接端口。(可選項) |
|
CURLOPT_PROTOCOLS |
|
在cURL 7.19.4中被加入。 |
CURLOPT_PROXYAUTH |
HTTP代理連接的驗證方式。使用在CURLOPT_HTTPAUTH中的位域標志來設置相應選項。對於代理驗證只有CURLAUTH_BASIC和CURLAUTH_NTLM當前被支持。 |
在cURL 7.10.7中被加入。 |
CURLOPT_PROXYPORT |
代理服務器的端口。端口也可以在CURLOPT_PROXY中進行設置。 |
|
CURLOPT_PROXYTYPE |
不是CURLPROXY_HTTP (默認值) 就是CURLPROXY_SOCKS5。 |
在cURL 7.10中被加入。 |
CURLOPT_REDIR_PROTOCOLS |
CURLPROTO_*中的位域值。如果被啟用,位域值將會限制傳輸線程在CURLOPT_FOLLOWLOCATION開啟時跟隨某個重定向時可使用的協議。這將使你對重定向時限制傳輸線程使用被允許的協議子集默認libcurl將會允許除FILE和SCP之外的全部協議。這個和7.19.4預發布版本種無條件地跟隨所有支持的協議有一些不同。關於協議常量,請參照CURLOPT_PROTOCOLS。 |
在cURL 7.19.4中被加入。 |
CURLOPT_RESUME_FROM |
在恢復傳輸時傳遞一個字節偏移量(用來斷點續傳)。 |
|
CURLOPT_SSL_VERIFYHOST |
1 檢查服務器SSL證書中是否存在一個公用名(common name)。譯者注:公用名(Common Name)一般來講就是填寫你將要申請SSL證書的域名 (domain)或子域名(sub domain)。2 檢查公用名是否存在,並且是否與提供的主機名匹配。 |
|
CURLOPT_SSLVERSION |
使用的SSL版本(2 或 3)。默認情況下PHP會自己檢測這個值,盡管有些情況下需要手動地進行設置。 |
|
CURLOPT_TIMECONDITION |
如果在CURLOPT_TIMEVALUE指定的某個時間以后被編輯過,則使用CURL_TIMECOND_IFMODSINCE返回頁面,如果沒有被修改過,並且CURLOPT_HEADER為true,則返回一個"304 Not Modified"的header, CURLOPT_HEADER為false,則使用CURL_TIMECOND_IFUNMODSINCE,默認值為CURL_TIMECOND_IFUNMODSINCE。 |
|
CURLOPT_TIMEOUT |
設置cURL允許執行的最長秒數。 |
|
CURLOPT_TIMEOUT_MS |
設置cURL允許執行的最長毫秒數。 |
在cURL 7.16.2中被加入。從PHP 5.2.3起可使用。 |
CURLOPT_TIMEVALUE |
設置一個CURLOPT_TIMECONDITION使用的時間戳,在默認狀態下使用的是CURL_TIMECOND_IFMODSINCE。 |
|
對於下面的這些option的可選參數,value應該被設置一個string類型的值:
選項 |
可選value值 |
備注 |
CURLOPT_CAINFO |
一個保存着1個或多個用來讓服務端驗證的證書的文件名。這個參數僅僅在和CURLOPT_SSL_VERIFYPEER一起使用時才有意義。 . |
|
CURLOPT_CAPATH |
一個保存着多個CA證書的目錄。這個選項是和CURLOPT_SSL_VERIFYPEER一起使用的。 |
|
CURLOPT_COOKIE |
設定HTTP請求中"Cookie: "部分的內容。多個cookie用分號分隔,分號后帶一個空格(例如, "fruit=apple; colour=red")。 |
|
CURLOPT_COOKIEFILE |
包含cookie數據的文件名,cookie文件的格式可以是Netscape格式,或者只是純HTTP頭部信息存入文件。 |
|
CURLOPT_COOKIEJAR |
連接結束后保存cookie信息的文件。 |
|
CURLOPT_CUSTOMREQUEST |
|
|
CURLOPT_EGDSOCKET |
類似CURLOPT_RANDOM_FILE,除了一個Entropy Gathering Daemon套接字。 |
|
CURLOPT_ENCODING |
HTTP請求頭中"Accept-Encoding: "的值。支持的編碼有"identity","deflate"和"gzip"。如果為空字符串"",請求頭會發送所有支持的編碼類型。 |
在cURL 7.10中被加入。 |
CURLOPT_FTPPORT |
這個值將被用來獲取供FTP"POST"指令所需要的IP地址。"POST"指令告訴遠程服務器連接到我們指定的IP地址。這個字符串可以是純文本的IP地址、主機名、一個網絡接口名(UNIX下)或者只是一個'-'來使用默認的IP地址。 |
|
CURLOPT_INTERFACE |
網絡發送接口名,可以是一個接口名、IP地址或者是一個主機名。 |
|
CURLOPT_KRB4LEVEL |
KRB4 (Kerberos 4) 安全級別。下面的任何值都是有效的(從低到高的順序):"clear"、"safe"、"confidential"、"private".。如果字符串和這些都不匹配,將使用"private"。這個選項設置為NULL時將禁用KRB4 安全認證。目前KRB4 安全認證只能用於FTP傳輸。 |
|
CURLOPT_POSTFIELDS |
全部數據使用HTTP協議中的"POST"操作來發送。要發送文件,在文件名前面加上@前綴並使用完整路徑。這個參數可以通過urlencoded后的字符串類似'para1=val1¶2=val2&...'或使用一個以字段名為鍵值,字段數據為值的數組。如果value是一個數組,Content-Type頭將會被設置成multipart/form-data。 |
|
CURLOPT_PROXY |
HTTP代理通道。 |
|
CURLOPT_PROXYUSERPWD |
一個用來連接到代理的"[username]:[password]"格式的字符串。 |
|
CURLOPT_RANDOM_FILE |
一個被用來生成SSL隨機數種子的文件名。 |
|
CURLOPT_RANGE |
以"X-Y"的形式,其中X和Y都是可選項獲取數據的范圍,以字節計。HTTP傳輸線程也支持幾個這樣的重復項中間用逗號分隔如"X-Y,N-M"。 |
|
CURLOPT_REFERER |
在HTTP請求頭中"Referer: "的內容。 |
|
CURLOPT_SSL_CIPHER_LIST |
一個SSL的加密算法列表。例如RC4-SHA和TLSv1都是可用的加密列表。 |
|
CURLOPT_SSLCERT |
一個包含PEM格式證書的文件名。 |
|
CURLOPT_SSLCERTPASSWD |
使用CURLOPT_SSLCERT證書需要的密碼。 |
|
CURLOPT_SSLCERTTYPE |
證書的類型。支持的格式有"PEM" (默認值), "DER"和"ENG"。 |
在cURL 7.9.3中被加入。 |
CURLOPT_SSLENGINE |
用來在CURLOPT_SSLKEY中指定的SSL私鑰的加密引擎變量。 |
|
CURLOPT_SSLENGINE_DEFAULT |
用來做非對稱加密操作的變量。 |
|
CURLOPT_SSLKEY |
包含SSL私鑰的文件名。 |
|
CURLOPT_SSLKEYPASSWD |
|
|
CURLOPT_SSLKEYTYPE |
CURLOPT_SSLKEY中規定的私鑰的加密類型,支持的密鑰類型為"PEM"(默認值)、"DER"和"ENG"。 |
|
CURLOPT_URL |
需要獲取的URL地址,也可以在curl_init()函數中設置。 |
|
CURLOPT_USERAGENT |
在HTTP請求中包含一個"User-Agent: "頭的字符串。 |
|
CURLOPT_USERPWD |
傳遞一個連接中需要的用戶名和密碼,格式為:"[username]:[password]"。 |
|
對於下面的這些option的可選參數,value應該被設置一個數組:
對於下面的這些option的可選參數,value應該被設置一個流資源 (例如使用fopen()):
對於下面的這些option的可選參數,value應該被設置為一個回調函數名:
選項 |
可選value值 |
CURLOPT_HEADERFUNCTION |
設置一個回調函數,這個函數有兩個參數,第一個是cURL的資源句柄,第二個是輸出的header數據。header數據的輸出必須依賴這個函數,返回已寫入的數據大小。 |
CURLOPT_PASSWDFUNCTION |
設置一個回調函數,有三個參數,第一個是cURL的資源句柄,第二個是一個密碼提示符,第三個參數是密碼長度允許的最大值。返回密碼的值。 |
CURLOPT_PROGRESSFUNCTION |
設置一個回調函數,有三個參數,第一個是cURL的資源句柄,第二個是一個文件描述符資源,第三個是長度。返回包含的數據。 |
CURLOPT_READFUNCTION |
擁有兩個參數的回調函數,第一個是參數是會話句柄,第二是HTTP響應頭信息的字符串。使用此函數,將自行處理返回的數據。返回值為數據大小,以字節計。返回0代表EOF信號。 |
CURLOPT_WRITEFUNCTION |
擁有兩個參數的回調函數,第一個是參數是會話句柄,第二是HTTP響應頭信息的字符串。使用此回調函數,將自行處理響應頭信息。響應頭信息是整個字符串。設置返回值為精確的已寫入字符串長度。發生錯誤時傳輸線程終止。 |
看到了吧,只要在第二個函數之內設置這些選項就可以完成相應的功能,cURL的功能是灰常強大滴,大家可以嘗試一下哦!
例如,我們只想把獲取到的內容輸入到文件,而不是直接輸出給瀏覽器,我們就可以使用CURLOPT_RETURNTRANSFER選項!
這樣在curl執行的時候,就會把頁面的內容輸出到文件當中,我們就可以完成采集等功能啦!
效率方面,curl的原理是模擬瀏覽器的操作,它的效率要比file_get_contents()高出四倍以上,試想一下,我們
要采集一個信息量特別龐大的站,運行效率的差別可想而知!
不單單是效率上,穩定性上來說,curl也遠比file_get_contents()函數要好很多!
這就是強大的curl,下文將給大家詳細介紹它的高級應用,我們可以模擬瀏覽器的post傳值,甚至上傳!