程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> 利用PHP抓取百度閱讀的方法示例,php抓取閱讀示例

利用PHP抓取百度閱讀的方法示例,php抓取閱讀示例

編輯:關於PHP編程

利用PHP抓取百度閱讀的方法示例,php抓取閱讀示例


前言

這篇文章主要介紹的是,如何利用PHP抓取百度閱讀的方法,下面話不多說,來一起看看吧。

抓取方法如下

首先在浏覽器裡打開閱讀頁面,查看源代碼後發現小說的內容並不是直接寫在頁面裡的,也就是說小說的內容是通過異步加載而來的。

於是將chrome的開發者工具切到network一欄,刷新閱讀頁面,主要關注的是XHR和script兩個分類下。

經過排查,發現在script分類下有個jsonp請求比較像是小說內容,請求的地址是

http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7

返回的是一個jsonp字符串,然後我發現,如果把地址裡面的callback=wenku7去掉,返回的就是一個json字符串,這樣解析起來就方便不少,可以直接在php裡面轉換成數組。

再來分析一下返回數據的結構,返回的json字符串之後是一個樹狀的結構,每個節點都有一個t屬性和c屬性,t屬性用來指明這個節點的標簽,比如h2 div等等,c屬性就是內容了,但也有兩種可能,一個是字符串,另一個是數組,數組的每個元素都是一個節點。

這種結構最好解析了,用一個遞歸就搞定

最終代碼如下:

<?php
class BaiduYuedu {
 protected $bookId;
 protected $bookToken;
 protected $cookie;
 protected $result;
 public function __construct($bookId, $bookToken, $cookie){
  $this->bookId = $bookId;
  $this->bookToken = $bookToken;
  $this->cookie = $cookie;
 }
 public static function parseNode($node){
  $str = '';
  if(is_string($node['c'])){
   $str .= $node['c'];
  }else if(is_array($node['c'])){
   foreach($node['c'] as $d){
    $str .= self::parseNode($d);
   }
  }
  switch($node['t']){
   case 'h2':
    $str .= "\n\n";
    break;
   case 'br':
   case 'div':
   case 'p':
    $str .= "\n";
    break;
   case 'img':
   case 'span':
    break;
   case 'obj':
    $tmp = '(' . self::parseNode($node['data'][0]) . ')';
    $str .= str_replace("\n", '', $tmp);
    break;
   default:
    trigger_error('Unkown type:'.$node['t'], E_USER_WARNING);
    break;
  }
  return $str;
 }
 public function get($page = 1){
  echo "getting page {$page}...\n";
  $ch = curl_init();
  $url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d', $this->bookId, $this->token, $page);
  curl_setopt_array($ch, array(
   CURLOPT_URL   => $url,
   CURLOPT_RETURNTRANSFER => 1,
   CURLOPT_HEADER   => 0,
   CURLOPT_HTTPHEADER  => array('Cookie: '. $this->cookie)
  ));
  $ret = json_decode(curl_exec($ch), true);
  curl_close($ch);
  $str = '';
  if(!empty($ret)){
   $str .= self::parseNode($ret);
   $str .= $this->get($page + 1);
  }
  return $str;
 }
 public function start(){
  $this->result = $this->get();
 }
 public function getResult(){
  return $this->result;
 }
 public function saveTo($path){
  if(empty($this->result)){
   trigger_error('Result is empty', E_USER_ERROR);
   return;
  }
  file_put_contents($path, $this->result);
  echo "save to {$path}\n";
 }
}
//使用示例
$yuedu = new BaiduYuedu('49422a3769eae009581becba', '8ed1dedb240b11bf0731336eff95093f', '你的百度域cookie');
$yuedu->start();
$yuedu->saveTo('result.txt');

這個類前兩個參數可以從小說的介紹頁面獲得,第一個參數bookId就是urlebook後面跟著的字符串,第二個參數bookToken在頁面源代碼搜索bdjsonUrlm參數後面的那個字符串就是。

注:如果不傳入百度cookie或者百度cookie無效,則只能抓取免費閱讀部分,要抓完整的內容必須保證cookie可以正常使用。

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家學習或者使用PHP能有一定的幫助,如果有疑問大家可以留言交流。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved