通過curl_setopt()函數可以方便快捷的抓取網頁(采集很方便大笑),curl_setopt 是PHP的一個擴展庫
使用條件:需要在php.ini 中配置開啟。(PHP 4 >= 4.0.2)
//取消下面的注釋
extension=php_curl.dll
在Linux下面,需要重新編譯PHP了,編譯時,你需要打開編譯參數——在configure命令上加上“–with-curl” 參數。
1、 一個抓取網頁的簡單案例:
[php] view plain copy print? // 創建一個新cURL資源 $ch = curl_init(); // 設置URL和相應的選項 curl_setopt($ch, CURLOPT_URL, "http://www.baidu.com/"); curl_setopt($ch, CURLOPT_HEADER, false); // 抓取URL並把它傳遞給浏覽器 curl_exec($ch); //關閉cURL資源,並且釋放系統資源 curl_close($ch);
2、POST數據案例:
[php] view plain copy print? // 創建一個新cURL資源 $ch = curl_init(); $data = 'phone='. urlencode($phone); // 設置URL和相應的選項 curl_setopt($ch, CURLOPT_URL, "http://www.post.com/"); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $data); // 抓取URL並把它傳遞給浏覽器 curl_exec($ch); //關閉cURL資源,並且釋放系統資源 curl_close($ch);
3、關於SSL和Cookie
關於SSL也就是HTTPS協議,你只需要把CURLOPT_URL連接中的http://變成https://就可以了。當然,還有一個參數叫CURLOPT_SSL_VERIFYHOST可以設置為驗證站點。
關於Cookie,你需要了解下面三個參數:
PS:新浪微博登陸API部分截取(部分我增加了點注釋,全當參數翻譯下。哈哈) 有興趣的自己研究,自己挪為己用。嘿嘿
[php] view plain copy print?
/**
* Make an HTTP request
*
* @return string API results
* @ignore
*/
function http($url, $method, $postfields = NULL, $headers = array()) {
$this->http_info = array();
$ci = curl_init();
/* Curl settings */
curl_setopt($ci, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);//讓cURL自己判斷使用哪個版本
curl_setopt($ci, CURLOPT_USERAGENT, $this->useragent);//在HTTP請求中包含一個"User-Agent: "頭的字符串。
curl_setopt($ci, CURLOPT_CONNECTTIMEOUT, $this->connecttimeout);//在發起連接前等待的時間,如果設置為0,則無限等待
curl_setopt($ci, CURLOPT_TIMEOUT, $this->timeout);//設置cURL允許執行的最長秒數
curl_setopt($ci, CURLOPT_RETURNTRANSFER, TRUE);//返回原生的(Raw)輸出
curl_setopt($ci, CURLOPT_ENCODING, "");//HTTP請求頭中"Accept-Encoding: "的值。支持的編碼有"identity","deflate"和"gzip"。如果為空字符串"",請求頭會發送所有支持的編碼類型。
curl_setopt($ci, CURLOPT_SSL_VERIFYPEER, $this->ssl_verifypeer);//禁用後cURL將終止從服務端進行驗證
curl_setopt($ci, CURLOPT_HEADERFUNCTION, array($this, 'getHeader'));//第一個是cURL的資源句柄,第二個是輸出的header數據
curl_setopt($ci, CURLOPT_HEADER, FALSE);//啟用時會將頭文件的信息作為數據流輸出
switch ($method) {
case 'POST':
curl_setopt($ci, CURLOPT_POST, TRUE);
if (!empty($postfields)) {
curl_setopt($ci, CURLOPT_POSTFIELDS, $postfields);
$this->postdata = $postfields;
}
break;
case 'DELETE':
curl_setopt($ci, CURLOPT_CUSTOMREQUEST, 'DELETE');
if (!empty($postfields)) {
$url = "{$url}?{$postfields}";
}
}
if ( isset($this->access_token) && $this->access_token )
$headers[] = "Authorization: OAuth2 ".$this->access_token;
$headers[] = "API-RemoteIP: " . $_SERVER['REMOTE_ADDR'];
curl_setopt($ci, CURLOPT_URL, $url );
curl_setopt($ci, CURLOPT_HTTPHEADER, $headers );
curl_setopt($ci, CURLINFO_HEADER_OUT, TRUE );
$response = curl_exec($ci);
$this->http_code = curl_getinfo($ci, CURLINFO_HTTP_CODE);
$this->http_info = array_merge($this->http_info, curl_getinfo($ci));
$this->url = $url;
if ($this->debug) {
echo "=====post data======\r\n";
var_dump($postfields);
echo '=====info====='."\r\n";
print_r( curl_getinfo($ci) );
echo '=====$response====='."\r\n";
print_r( $response );
}
curl_close ($ci);
return $response;
}
以上就是本文的全部內容,希望本文的內容對大家的學習或者工作能帶來一定的幫助,同時也希望多多支持幫客之家!