程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> PHP CURL獲取cookies模擬登錄的方法

PHP CURL獲取cookies模擬登錄的方法

編輯:關於PHP編程

要提取google搜索的部分數據,發現google對於軟件抓取它的數據屏蔽的厲害,以前偽造下 USER-AGENT 就可以抓數據,但是現在卻不行了。利用抓包數據發現,Google 判斷了 cookies,當你沒有cookies的時候,直接返回 302 跳轉,而且是連續幾十個302跳轉,根本抓不了數據。
因此,在發送搜索命令時,需要先提取 cookies 並保存,然後利用保存下來的這個cookies再次發送搜索命令即可正常抓數據了。這其實和論壇的模擬登錄一個道理,先POST登錄,獲取cookies並保存,然後利用這個cookies訪問就可以了。
PHP 代碼如下:
復制代碼 代碼如下:
<?php
header('Content-Type: text/html; charset=utf-8');

$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");

//先獲取cookies並保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR,  $cookie_file); //存儲cookies
curl_exec($ch);
curl_close($ch);

//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);

echo $response;
?>

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved