程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> php使用curl和正則表達式抓取網頁數據示例

php使用curl和正則表達式抓取網頁數據示例

編輯：關於PHP編程

利用curl和正則表達式做的一個針對磨鐵中文網非vip章節的小說抓取器，支持輸入小說ID下載小說。
依賴項：curl
可以簡單的看下，裡面用到了curl ,正則表達式，ajax等技術，適合新手看看。在本地測試，必須保證聯網並且確保php開啟curl的mode

SpiderTools.class.php
復制代碼代碼如下:
<?php
session_start();
//封裝成類開啟這些自動抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*傳入文章ID 解析出文章標題*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
  //初始化curl
  $ch= curl_init();
  //url
  $url='http://www.motie.com/book/'.$aid;
  if(is_numeric($aid)){
  //正則表達式匹配
  $ru="/<h1\sclass=\"p-title\">\s*<a\shref=\"\/book\/\d+\">(.*)\s*<\/a>\s*<\/h1>/";
  }
  else{
  //<title>喪屍爆發之全家求生路_第一章喪屍爆發　為吾友愛樂兒更新~_磨鐵</title>
  $ru="/<title>(.*)<\/title>/";
  }
  //設置選項，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動輸出內容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //執行curl
  $output = curl_exec($ch);
  //錯誤提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 檢查是否有錯誤發生
  if(curl_errno($ch)){
  echo 'Curl error: ' . curl_error($ch);
  }
  //釋放curl句柄
  curl_close($ch);
  $arr=array();
  preg_match_all($ru,$output,$arr);
  return $arr[1][0];
   }
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*傳入文章ID 解析文章內容*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookContextById($aid){
  //開始解析文章
  $ids=array();
  $ids=explode("_",$aid);
  $titleId=trim($ids[0]);
  $aticleId=trim($ids[1]);
  $ch= curl_init();
  $ru="/<div class=\"page-content\">[\s\S]*<pre ondragstart=\"return false\" oncopy=\"return false;\" oncut=\"return false;\" oncontextmenu=\"return false\" class=\"note\" id=\"html_content_\d*\">[\s\S]*(.*)<img src=\"\/ajax\/chapter\/$titleId\/$aticleId\" class=\"hidden\" \/><\/pre>/ui";
  $url='http://www.motie.com/book/'.$aid;
  //正則表達式匹配

  //設置選項，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動輸出內容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //執行curl
  $output = curl_exec($ch);
  //錯誤提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 檢查是否有錯誤發生
  if(curl_errno($ch)){
   echo 'Curl error: ' . curl_error($ch);
  }
  $arr=array();
  $arr2=array();
  preg_match_all($ru,$output,$arr);
  curl_close($ch);
  #var_dump($arr);
  $s=$arr[0][0];
  $s=substr($s,180);
  $arr2=explode("<img",$s);
  return trim($arr2[0]);
}

//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*靜態方法 @生成小說文件可以直接調用 */
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public static function createBookById($id){

if(!is_numeric($id)){

  echo "<br/>INIT BEGIN START WRITE!";
  $st=new self();
  $cons=$st->getBookContextById($id);
  $title=$st->getBookNameById($id);
  $cons=trim($cons);
  $t=explode(" ",$title);
  //構造目錄
  $dir=array();
  $dir=explode("_",$t[0]);
  $wzdir=$dir[0];  //書名稱作為目錄名稱
  $wzchapter=$dir[1]; //第幾章
  //創建目錄
  $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目錄編碼注意這裡保留對$wzdir字符串的引用，用來構造文件名，不能用此處，防止二次編碼
  if(!file_exists($wzdir2)){
   mkdir($wzdir2); //創建目錄
  }
  //構造文件名
  $wztitle="./".$wzdir."/"."$t[0]".".txt";
  //保證保存的文件名稱不是亂碼
  $wztitle=iconv("UTF-8", "GBK", $wztitle);
  $f=fopen($wztitle,"w+");
  fwrite($f,$cons);
  echo "<font color='green'>$wzdir </font>".$wzchapter."<font color='red'>寫入成功</font>";
  fclose($f);

  }
  else{
  $ids=self::getBookIdsById($id);

  //這裡服務器可能會掉線，所以最好用session記錄循環
  #for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){

   #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//構造id
  #}

  for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){

   self::createBookById($id."_".$ids[$i]);//構造id
  }

  #echo "<hr/><hr/><br/><h1>寫入工作全部完成</h1>";
  #echo $id."_".$ids[0]."<br/>";
  #var_dump($ids);

  }

}
  /*
  獲取小說的所有ID
  @param $id 文章ID
  @return array;
  */
  public static function getBookIdsById($aid){
  $ch= curl_init();
  $url='http://www.motie.com/book/'.$aid."/chapter";
  //注意這裡的?可以獲取最少匹配項
  $ru='/[\s\S]*?<li class=\"\" createdate=\"\d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2}\">[\s\S]*?<a href=\"\/book\/'.$aid.'_(\d*?)\"\s{1}>.*?<\/a>.*?/u';//正則表達式匹配
  //設置選項，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動輸出內容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //執行curl
  $output = curl_exec($ch);
  // 檢查是否有錯誤發生
  if(curl_errno($ch)){
  echo 'Curl error: ' . curl_error($ch);
  }
  //釋放curl句柄
  curl_close($ch);
  $arr=array();
  preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);
  return $arr[1];
  }
}
?>

getinfo.php
復制代碼代碼如下:
<?php
session_start();
require_once("SpiderTools.class.php");
if($_REQUEST["bid"]){
if(is_numeric($_REQUEST["bid"])){
SpiderTools::createBookById(trim($_REQUEST["bid"]));
}
else{
echo "<br/>請輸入正確的文章ID<br/>";
}
}
?>

index.html
復制代碼代碼如下:
<html>
<head><meta charset="utf-8"/></head>
<title>下載小說啦</title>
<body>
<h1>輸入磨鐵中文網你想看到的小說ID號就可以下載小說啦</h1>
<form method="get" action="getinfo.php">
<input type="text" id="myid" name="myid" value=""/>
<input type="button" value="生成小說" onclick="createbook();"/>
</form>
<div id="info" >
</div>

<script language="javascript">
var xmlHttp;
function createbook()
{
xmlHttp=GetXmlHttpObject()
if (xmlHttp==null)
{
alert ("浏覽器不支持ajax")
return
}
var bookid=document.getElementById("myid").value
var url="getinfo.php"
url=url+"?bid="+bookid;
url=url+"&sid="+Math.random()
xmlHttp.onreadystatechange=stateChanged
xmlHttp.open("GET",url,true)
xmlHttp.send(null)
}