用php的curl抓取網頁遇到了問題，為闡述方便，將代碼簡化如下：
<?php
function curlGet($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, true);
return curl_exec($ch);
}
$url = 'http://144go.com';
echo curlGet($url), "\n";
代碼的目的很簡單，抓取頁面：http://www.144go.com
執行上述代碼，得到的結果：
HTTP/1.1 301 Moved Permanently Content-Length: 144 Content-Type: text/html Location: http://www.144go.com/ Server: Microsoft-IIS/6.0 X-Powered-By: ASP.NET Date: Mon, 03 Sep 2012 04:25:22 GMT <head><title>Document Moved</title></head> <body><h1>Object Moved</h1>This document may be found <a HREF="http://www.144go.com/">here</a></body>
由結果中的
Location: http://www.144go.com/
可知http://144go.com被重定向到了http://www.144go.com/
怎么辦呢，要用正則分析出Location部分的鏈接，重復執行執行curlGet嗎？行到是行，就是有點麻煩。
其實只要加一條語就可以了：
<?php
function curlGet($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, true);
//函數中加入下面這條語句
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
return curl_exec($ch);
}
再次執行代碼，可以抓取到想要的頁面。
CURLOPT_FOLLOWLOCATION指明：
讓curl遞歸的抓取http頭中Location中指明的url。
當抓取次數超過CURLOPT_MAXREDIRS時，遞歸將終止。
在抓取中任何跳轉帶來的問題，都可通過設置此參數解決。
有關重定向的問題，可參考HTTP返回碼中301與302的區別
---------------------
原文鏈接：https://blog.csdn.net/qmhball/article/details/7937534