程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> PHP抓取采集類snoopy介紹

PHP抓取采集類snoopy介紹

編輯：關於PHP編程

snoopy是一個php類，用來模仿web浏覽器的功能，它能完成獲取網頁內容和發送表單的任務。官方網站 http://snoopy.sourceforge.net/

Snoopy的一些功能特點：

抓取網頁的內容 fetch()
抓取網頁的文本內容 (去除HTML標簽) fetchtext()
抓取網頁的鏈接，表單 fetchlinks() fetchform()
支持代理主機
支持基本的用戶名/密碼驗證
支持設置 user_agent, referer(來路), cookies 和 header content(頭文件)
支持浏覽器重定向，並能控制重定向深度
能把網頁中的鏈接擴展成高質量的url(默認)
提交數據並且獲取返回值
支持跟蹤HTML框架
支持重定向的時候傳遞cookies

要求php4以上就可以。由於本身是php一個類，無需擴支持，服務器不支持curl時候的最好選擇。

類方法

1. fetch($uri)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址。抓取的結果被存儲在 $this->results 中。

如果你正在抓取的是一個框架，Snoopy將會將每個框架追蹤後存入數組中，然後存入 $this->results。

<?php
$url = "http://www.bkjia.com/librarys/veda/";
include("./Snoopy.class.php");

$snoopy = new Snoopy;
$snoopy->fetch($url); 		//獲取所有內容
echo $snoopy->results; 		//顯示結果
?>

2. fetchtext($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中的文字內容。

<?php
$url = "http://www.bkjia.com/librarys/veda/";
include("./Snoopy.class.php");

$snoopy = new Snoopy;
$snoopy->fetchtext($url); 		//獲取文本內容
echo $snoopy->results; 		//顯示結果
?>

3. fetchform($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中表單內容(form)。

4. fetchlinks($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中鏈接(link)。默認情況下，相對鏈接將自動補全，轉換成完整的URL。

5. submit($URI,$formvars)

本方法向$URL指定的鏈接地址發送確認表單。$formvars是一個存儲表單參數的數組。

6. submittext($URI,$formvars)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回登陸後網頁中的文字內容。

7. submitlinks($URI)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中鏈接(link)。默認情況下，相對鏈接將自動補全，轉換成完整的URL。

類屬性 (缺省值在括號裡)

$host 連接的主機
$port 連接的端口
$proxy_host 使用的代理主機，如果有的話
$proxy_port 使用的代理主機端口，如果有的話
$agent 用戶代理偽裝 (Snoopy v0.1)
$referer 來路信息，如果有的話
$cookies cookies，如果有的話
$rawheaders 其他的頭信息, 如果有的話
$maxredirs 最大重定向次數， 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將鏈接都補全為完整地址 (true)
$user 認證用戶名, 如果有的話
$pass 認證用戶名, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從服務器返回的響應代碼
$headers 從服務器返回的頭信息
$maxlength 最長返回數據長度
$read_timeout 讀取操作超時 (requires PHP 4 Beta 4+)，設置為0為沒有超時
$timed_out 如果一次讀取操作超時了，本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的框架最大數量
$status 抓取的http的狀態
$temp_dir 網頁服務器能夠寫入的臨時文件目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設置為 false

Demo

 include "Snoopy.class.php";
 $snoopy = new Snoopy;
 
 $snoopy->proxy_host = "http://www.bkjia.com/librarys/veda/";
 $snoopy->proxy_port = "80";
 
 $snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";
 $snoopy->referer = "http://www.4wei.cn";
 
 $snoopy->cookies["SessionID"] = 238472834723489l;
 $snoopy->cookies["favoriteColor"] = "RED";
 
 $snoopy->rawheaders["Pragma"] = "no-cache";
 
 $snoopy->maxredirs = 2;
 $snoopy->offsiteok = false;
 $snoopy->expandlinks = false;
 
 $snoopy->user = "joe";
 $snoopy->pass = "bloe";
 
 if($snoopy->fetchtext("http://www.4wei.cn"))
 {
 echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE>n";
 }
 else
 echo "error fetching document: ".$snoopy->error."n";

獲取指定url內容：

 <?
 $url = "http://www.bkjia.com/librarys/veda/";
 include("snoopy.php");
 $snoopy = new Snoopy;
 $snoopy->fetch($url); //獲取所有內容
 echo $snoopy->results; //顯示結果
 //可選以下
 //$snoopy->fetchtext //獲取文本內容（去掉html代碼）
 //$snoopy->fetchlinks //獲取鏈接
 //$snoopy->fetchform  //獲取表單
 ?>

表單提交：

<?php
$formvars["username"] = "admin";
$formvars["pwd"] = "admin";
$action = "http://www.bkjia.com/librarys/veda/";//表單提交地址
$snoopy->submit($action,$formvars);//$formvars為提交的數組
echo $snoopy->results; //獲取表單提交後的 返回的結果
//可選以下
$snoopy->submittext; //提交後只返回 去除html的 文本
$snoopy->submitlinks;//提交後只返回 鏈接
?>

既然已經提交的表單，那就可以做很多事情。接下來我們來偽裝ip，偽裝浏覽器：

<?php
$formvars["username"] = "admin";
$formvars["pwd"] = "admin";
$action = "http://www.4wei.cn";
include "snoopy.php";
$snoopy = new Snoopy;
$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //偽裝sessionid
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //偽裝浏覽器
$snoopy->referer = http://www.4wei.cn; //偽裝來源頁地址 http_referer
$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http頭信息
$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //偽裝ip
$snoopy->submit($action,$formvars);
echo $snoopy->results;
?>

原來我們可以偽裝session 偽裝浏覽器，偽裝ip， haha 可以做很多事情了。例如帶驗證碼，驗證ip 投票，可以不停的投。

ps:這裡偽裝ip ，其實是偽裝http頭，所以一般的通過 REMOTE_ADDR 獲取的ip是偽裝不了，反而那些通過http頭來獲取ip的(可以防止代理的那種) 就可以自己來制造ip。

關於如何驗證碼，簡單說下：首先用普通的浏覽器，查看頁面，找到驗證碼所對應的sessionid，同時記下sessionid和驗證碼值，接下來就用snoopy去偽造。

原理：由於是同一個sessionid 所以取得的驗證碼和第一次輸入的是一樣的。

有時我們可能需要偽造更多的東西，snoopy完全為我們想到了：

<?php
$snoopy->proxy_host = "http://www.bkjia.com/librarys/veda/";
$snoopy->proxy_port = "8080"; //使用代理
$snoopy->maxredirs = 2; //重定向次數
$snoopy->expandlinks = true; //是否補全鏈接 在采集的時候經常用到
// 例如鏈接為 /images/taoav.gif 可改為它的全鏈接 http://www.4wei.cn/images/taoav.gif
$snoopy->maxframes = 5 //允許的最大框架數
//注意抓取框架的時候 $snoopy->results 返回的是一個數組
$snoopy->error //返回報錯信息
?>

比較完整的示例：

/**
* You need the snoopy.class.php from 
* http://snoopy.sourceforge.net/
*/
include("snoopy.class.php");
 
$snoopy = new Snoopy;
// need an proxy?:
//$snoopy->proxy_host = "my.proxy.host";
//$snoopy->proxy_port = "8080";
 
// set browser and referer:
$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";
$snoopy->referer = "http://www.jonasjohn.de/";
 
// set some cookies:
$snoopy->cookies["SessionID"] = '238472834723489';
$snoopy->cookies["favoriteColor"] = "blue";
 
// set an raw-header:
$snoopy->rawheaders["Pragma"] = "no-cache";
 
// set some internal variables:
$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;
 
// set username and password (optional)
//$snoopy->user = "joe";
//$snoopy->pass = "bloe";
 
// fetch the text of the website www.google.com:
if($snoopy->fetchtext("http://www.google.com")){ 
    // other methods: fetch, fetchform, fetchlinks, submittext and submitlinks
 
    // response code:
    print "response code: ".$snoopy->response_code."<br/>n";
 
    // print the headers:
 
    print "<b>Headers:</b><br/>";
    while(list($key,$val) = each($snoopy->headers)){
        print $key.": ".$val."<br/>n";
    }
 
    print "<br/>n";
 
    // print the texts of the website:
    print htmlspecialchars($snoopy->results)."n";
}
else {
    print "Snoopy: error while fetching document: ".$snoopy->error."n";
}

用Snoopy類完成一個簡單的圖片采集：

<meta http-equiv='content-type' content='text/html;charset=utf-8'>
<?php    
include 'Snoopy.class.php';   //加載Snoopy類     
$snoopy = new Snoopy();       //實例化一個對象
$sourceURL = "http://www.bkjia.com/librarys/veda/";    //要抓取的網頁
$snoopy->fetchlinks($sourceURL);        //獲得網頁的鏈接
$a = $snoopy->results;     //得到網頁鏈接的結果
$re = "/d+.html$/";     //匹配的正則
//過濾獲取指定的文件地址請求  
foreach ($a as $tmp) { 
	if (preg_match($re, $tmp)) {
		$aa=$tmp;        
 	}    
}  
getImgURL($aa);
function getImgURL($siteName) 
{        
 	$snoopy = new Snoopy();        
 	$snoopy->fetch($siteName);                
 	$fileContent = $snoopy->results;    //獲取過濾後的頁面的內容            
 	//匹配圖片的正則表達式        
 	$reTag = "/<img[^s]+src="(http://[^"]+).(jpg|png|gif|jpeg)"[^/]*/>/i";                
	if (preg_match($reTag, $fileContent)) {  
   		//過濾圖片
		$ret = preg_match_all($reTag, $fileContent, $matchResult);                     
		for ($i = 0, $len = count($matchResult[1]); $i < $len; ++$i) 
		{      
			saveImgURL($matchResult[1][$i], $matchResult[2][$i]);            
		}        
	}    
}        
function saveImgURL($name, $suffix) { 
	$url = $name.".".$suffix;                
 	echo "請求的圖片地址：".$url."<br/>";                
 	$imgSavePath = "E:/123/images/";  //圖片保存地址      
 	$imgId =mt_rand(); //產生一個隨機的文件名
 	if ($suffix == "gif") { 
		//根據圖片類型，放入不同的文件夾下面           
  		$imgSavePath .= "emotion";        
 	} 
	else 
	{            
  		$imgSavePath .= "topic";        
 	}        
 	$imgSavePath .= ("/".$imgId.".".$suffix);  //組裝要保存的文件名
 	if (is_file($imgSavePath)) {   
		//判斷文件名是否存在，存在則刪除         
  		unlink($imgSavePath);            
  		echo "<p style='color:#f00;'>文件".$imgSavePath."已存在，將被刪除</p>";        
 	}  
 	$imgFile = file_get_contents($url); //讀取網絡文件     
 	$flag = file_put_contents($imgSavePath,$imgFile);   //寫入到本地 
 	if ($flag) {            
  		echo "<p>文件".$imgSavePath."保存成功</p>";        
 	}    
}
?>