程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> PHP采集類Snoopy.class.php介紹以及下載

PHP采集類Snoopy.class.php介紹以及下載

編輯:關於PHP編程

PHP采集類Snoopy.class.php介紹以及下載


Snoopy 是一個非常強大的PHP類,可以利用該類模擬浏覽器來完成獲取網頁內容和發送表單的任務。下面是詳細介紹Snoopy.class.php 的特點和一些常見的用法。

官方網站:http://snoopy.sourceforge.net/ (不能打開國外網站的可使用天行浏覽器)

下載地址:http://sourceforge.net/projects/snoopy/

本站下載地址:PHP采集庫Snoopy.class.php下載

下面是Snoopy的一些特點:

1、抓取網頁的內容 fetch
2、抓取網頁的文本內容 (去除HTML標簽) fetchtext
3、抓取網頁的鏈接,表單 fetchlinks fetchform
4、支持代理主機
5、支持基本的用戶名/密碼驗證
6、支持設置 user_agent, referer(來路), cookies 和 header content(頭文件)
7、支持浏覽器重定向,並能控制重定向深度
8、能把網頁中的鏈接擴展成高質量的url(默認)
9、提交數據並且獲取返回值
10、支持跟蹤HTML框架 (v0.92增加)
11、支持重定向的時候傳遞cookies

備注:使用 Snoopy.class.php 要求php4以上就可以了,由於本身是php一個類,無需擴支持,服務器不支持curl時候的最好選擇。

下面是一些常用的類方法介紹:

fetch($URI)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址,抓取的結果被存儲在 $this->results 中。如果你正在抓取的是一個框架,Snoopy將會將每個框架追蹤後存入數組中,然後存入 $this->results。

fetchtext($URI)

本方法類似於fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中的文字內容。

fetchform($URI)

本方法類似於fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中表單內容(form)。

fetchlinks($URI)

本方法類似於fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中鏈接(link)。默認情況下,相對鏈接將自動補全,轉換成完整的URL。

submit($URI,$formvars)

本方法向$URL指定的鏈接地址發送確認表單。$formvars是一個存儲表單參數的數組。

submittext($URI,$formvars)

本方法類似於submit(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回登陸後網頁中的文字內容。

submitlinks($URI)

本方法類似於submit(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中鏈接(link)。默認情況下,相對鏈接將自動補全,轉換成完整的URL。

類屬性: (缺省值在括號裡)

$host 連接的主機
$port 連接的端口
$proxy_host 使用的代理主機,如果有的話
$proxy_port 使用的代理主機端口,如果有的話
$agent 用戶代理偽裝 (Snoopy v0.1)
$referer 來路信息,如果有的話
$cookies cookies, 如果有的話
$rawheaders 其他的頭信息, 如果有的話
$maxredirs 最大重定向次數, 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將鏈接都補全為完整地址 (true)
$user 認證用戶名, 如果有的話
$pass 認證用戶名, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從服務器返回的響應代碼
$headers 從服務器返回的頭信息
$maxlength 最長返回數據長度
$read_timeout 讀取操作超時 (requires PHP 4 Beta 4+) 設置為0為沒有超時
$timed_out 如果一次讀取操作超時了,本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的框架最大數量
$status 抓取的http的狀態
$temp_dir 網頁服務器能夠寫入的臨時文件目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設置為 false

如下是幾個常見的使用示例:

(1)抓取php程序員的筆記網站上首頁頁面上的文字

<?php
include 'Snoopy.class.php';
$snoopy=new Snoopy;
$snoopy->fetchtext("http://www.phpernote.com");
echo $snoopy->results;

(2)抓取php程序員的筆記網站首頁的頁面的所有鏈接

<?php
include 'Snoopy.class.php';
$snoopy=new Snoopy;
$snoopy->fetchlinks("http://www.phpernote.com");
print_r($snoopy->results);

(3)獲取登陸人人網需要發送什麼字段,目標地址是什麼

<?php
include 'Snoopy.class.php';
$snoopy=new Snoopy;
$snoopy->fetchform("http://www.renren.com/PLogin.do");
print_r($snoopy->results);

(4)模擬登陸人人網

<?php
set_time_limit(0);
require "Snoopy.class.php";
$snoopy=new Snoopy();
$snoopy->referer='http://www.renren.com/';
$snoopy->agent="Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20100101 Firefox/22.0";
$submit_vars['email'] ='登陸賬號';
$submit_vars['password'] ='登陸密碼';
$url='http://www.renren.com/PLogin.do';//登陸數據提交的URL地址
$snoopy->submit($url,$submit_vars);
$snoopy->fetch("http://www.renren.com/");//希望獲取的頁面數據
echo $snoopy->results;//www.phpernote.com

您可能感興趣的文章

  • php利用curl實現多線程的類,php curl多線程下載圖片
  • php snoopy采集類介紹
  • PHP 利用 Curl Functions 實現多線程抓取網頁和下載文件
  • php實現將文件批量壓縮打包下載
  • 強大的PHP 圖片處理類(水印、透明度、縮放、銳化、旋轉、翻轉、剪切、反色)
  • 用PHP函數memory_get_usage獲取當前PHP內存消耗量以實現程序的性能優化
  • php限制文件下載速度的功能
  • 如何去除codeIgniter開發的網站url裡面的index.php字符串

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved