程序師世界是廣大編程愛好者互助、分享、學習的平台，程序師世界有你更精彩！
設為首頁 加入收藏
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置： 程式師世界 >> 編程語言 >  >> 更多編程語言 >> Python

python

編輯：Python
這是一篇詳細介紹 Python 爬蟲入門的教程，從實戰出發，適合初學者。讀者只需在閱讀過程緊跟文章思路，理清相應的實現代碼，30 分鐘即可學會編寫簡單的 Python 爬蟲。

這篇 Python 爬蟲教程主要講解以下 5 部分內容：
  1. 了解網頁；
  2. 使用 requests 庫抓取網站數據；
  3. 使用 Beautiful Soup 解析網頁；
  4. 清洗和組織數據；
  5. 爬蟲攻防戰；

了解網頁

以中國旅游網首頁（ http://www.cntour.cn/）為例，抓取中國旅游網首頁首條信息（標題和鏈接），數據以明文的形式出面在源碼中。在中國旅游網首頁，按快捷鍵【Ctrl+U】打開源碼頁面，如圖 1 所示。

圖 1 中國旅游網首頁源碼

認識網頁結構

網頁一般由三部分組成，分別是 HTML（超文本標記語言）、CSS（層疊樣式表）和 JScript（活動腳本語言）。

HTML

HTML 是整個網頁的結構，相當於整個網站的框架。帶“＜”、“＞”符號的都是屬於 HTML 的標簽，並且標簽都是成對出現的。

常見的標簽如下：

<html>..</html> 表示標記中間的元素是網頁
<body>..</body> 表示用戶可見的內容
<div>..</div> 表示框架
<p>..</p> 表示段落
<li>..</li>表示列表
<img>..</img>表示圖片
<h1>..</h1>表示標題
<a href="">..</a>表示超鏈接

CSS

CSS 表示樣式，圖 1 中第 13 行＜style type=＂text/css＂＞表示下面引用一個 CSS，在 CSS 中定義了外觀。

JScript

JScript 表示功能。交互的內容和各種特效都在 JScript 中，JScript 描述了網站中的各種功能。

如果用人體來比喻，HTML 是人的骨架，並且定義了人的嘴巴、眼睛、耳朵等要長在哪裡。CSS 是人的外觀細節，如嘴巴長什麼樣子，眼睛是雙眼皮還是單眼皮，是大眼睛還是小眼睛，皮膚是黑色的還是白色的等。JScript 表示人的技能，例如跳舞、唱歌或者演奏樂器等。

寫一個簡單的 HTML

通過編寫和修改 HTML，可以更好地理解 HTML。首先打開一個記事本，然後輸入下面的內容：

<html>
<head>
    <title> Python 3 爬蟲與數據清洗入門與實戰</title>
</head>
<body>
    <div>
        <p>Python 3爬蟲與數據清洗入門與實戰</p>
    </div>
    <div>
        <ul>
            <li><a href="http://c.biancheng.net">爬蟲</a></li>
            <li>數據清洗</li>
        </ul>
    </div>
</body>

輸入代碼後，保存記事本，然後修改文件名和後綴名為"HTML.html"；

運行該文件後的效果，如圖 2 所示。

圖 2
這段代碼只是用到了 HTML，讀者可以自行修改代碼中的中文，然後觀察其變化。

關於爬蟲的合法性

幾乎每一個網站都有一個名為 robots.txt 的文檔，當然也有部分網站沒有設定 robots.txt。對於沒有設定 robots.txt 的網站可以通過網絡爬蟲獲取沒有口令加密的數據，也就是該網站所有頁面數據都可以爬取。如果網站有 robots.txt 文檔，就要判斷是否有禁止訪客獲取的數據。

以淘寶網為例，在浏覽器中訪問 https://www.taobao.com/robots.txt，如圖  3 所示。

圖 3 淘寶網的robots.txt文件內容
淘寶網允許部分爬蟲訪問它的部分路徑，而對於沒有得到允許的用戶，則全部禁止爬取，代碼如下：

User-Agent:*
Disallow:/

這一句代碼的意思是除前面指定的爬蟲外，不允許其他爬蟲爬取任何數據。

使用 requests 庫請求網站

安裝 requests 庫

首先在 PyCharm 中安裝 requests 庫，為此打開 PyCharm，單擊“File”（文件）菜單，選擇“Setting for New Projects...”命令，如圖 4 所示。

圖 4
選擇“Project Interpreter”（項目編譯器）命令，確認當前選擇的編譯器，然後單擊右上角的加號，如圖 5 所示。

圖 5
在搜索框輸入：requests（注意，一定要輸入完整，不然容易出錯），然後單擊左下角的“Install Package”（安裝庫）按鈕。如圖 6 所示：

圖 6
安裝完成後，會在 Install Package 上顯示“Package‘requests’ installed successfully”（庫的請求已成功安裝），如圖 7 所示；如果安裝不成功將會顯示提示信息。

圖 7 安裝成功

爬蟲的基本原理

網頁請求的過程分為兩個環節：
  1. Request （請求）：每一個展示在用戶面前的網頁都必須經過這一步，也就是向服務器發送訪問請求。
  2. Response（響應）：服務器在接收到用戶的請求後，會驗證請求的有效性，然後向用戶（客戶端）發送響應的內容，客戶端接收服務器響應的內容，將內容展示出來，就是我們所熟悉的網頁請求，如圖 8 所示。

圖 8 Response相應
網頁請求的方式也分為兩種：
  1. GET：最常見的方式，一般用於獲取或者查詢資源信息，也是大多數網站使用的方式，響應速度快。
  2. POST：相比 GET 方式，多了以表單形式上傳參數的功能，因此除查詢信息外，還可以修改信息。

所以，在寫爬蟲前要先確定向誰發送請求，用什麼方式發送。

使用 GET 方式抓取數據

復制任意一條首頁首條新聞的標題，在源碼頁面按【Ctrl+F】組合鍵調出搜索框，將標題粘貼在搜索框中，然後按【Enter】鍵。

如圖 8 所示，標題可以在源碼中搜索到，請求對象是www.cntour.cn，請求方式是GET（所有在源碼中的數據請求方式都是GET），如圖 9 所示。

圖 9（ 點此查看高清大圖） 確定好請求對象和方式後，在 PyCharm 中輸入以下代碼： 
復制純文本復制


    

  1. import requests #導入requests包
    2. 

  2. url = 'http://www.cntour.cn/'
    3. 

  3. strhtml = requests.get(url) #Get方式獲取網頁數據
    4. 

  4. print(strhtml.text)
    5. 

import requests #導入requests包
url = 'http://www.cntour.cn/'
strhtml = requests.get(url) #Get方式獲取網頁數據
print(strhtml.text)
運行結果如圖 10 所示：
圖 10 運行結果效果圖（ 點此查看高清大圖）
加載庫使用的語句是 import+庫的名字。在上述過程中，加載 requests 庫的語句是：import requests。

用 GET 方式獲取數據需要調用 requests 庫中的 get 方法，使用方法是在 requests 後輸入英文點號，如下所示：

requests.get

將獲取到的數據存到 strhtml 變量中，代碼如下：

strhtml = request.get(url)

這個時候 strhtml 是一個 URL 對象，它代表整個網頁，但此時只需要網頁中的源碼，下面的語句表示網頁源碼：

strhtml.text

使用 POST 方式抓取數據

首先輸入有道翻譯的網址： http://fanyi.youdao.com/，進入有道翻譯頁面。

按快捷鍵 F12，進入開發者模式，單擊 Network，此時內容為空，如圖 11 所示：

圖 11
在有道翻譯中輸入“我愛中國”，單擊“翻譯”按鈕，如圖 12 所示：

圖 12
在開發者模式中，依次單擊“Network”按鈕和“XHR”按鈕，找到翻譯數據，如圖 13 所示：

圖 13
單擊 Headers，發現請求數據的方式為 POST。如圖 14 所示：

圖 14
找到數據所在之處並且明確請求方式之後，接下來開始撰寫爬蟲。

首先，將 Headers 中的 URL 復制出來，並賦值給 url，代碼如下：

url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

POST 的請求獲取數據的方式不同於 GET，POST 請求數據必須構建請求頭才可以。

Form Data 中的請求參數如圖 15 所示：

圖 15
將其復制並構建一個新字典：

From_data={'i':'我愛中國','from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}

接下來使用 requests.post 方法請求表單數據，代碼如下：

import requests        #導入requests包
response = requests.post(url,data=payload)

將字符串格式的數據轉換成 JSON 格式數據，並根據 數據結構，提取數據，並將翻譯結果打印出來，代碼如下： 
復制純文本復制


    

  1. import json
    2. 

  2. content = json.loads(response.text)
    3. 

  3. print(content['translateResult'][0][0]['tgt'])
    4. 

import json
content = json.loads(response.text)
print(content['translateResult'][0][0]['tgt'])
使用 requests.post 方法抓取有道翻譯結果的完整代碼如下： 
復制純文本復制


    

  1. import requests #導入requests包
    2. 

  2. import json
    3. 

  3. def get_translate_date(word=None):
    4. 

  4.  url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
    5. 

  5.  From_data={
'i':word,'from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}
    6. 

  6.  #請求表單數據
    7. 

  7.  response = requests.post(url,data=From_data)
    8. 

  8.  #將Json格式字符串轉字典
    9. 

  9.  content = json.loads(response.text)
    10. 

  10.  print(content)
    11. 

  11.  #打印翻譯後的數據
    12. 

  12.  #print(content['translateResult'][0][0]['tgt'])
    13. 

  13. if __name__=='__main__':
    14. 

  14.  get_translate_date('我愛中國')
    15. 

import requests #導入requests包
import json
def get_translate_date(word=None):
url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
From_data={'i':word,'from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}
#請求表單數據
response = requests.post(url,data=From_data)
#將Json格式字符串轉字典
content = json.loads(response.text)
print(content)
#打印翻譯後的數據
#print(content['translateResult'][0][0]['tgt'])
if __name__=='__main__':
get_translate_date('我愛中國')

使用 Beautiful Soup 解析網頁

通過 requests 庫已經可以抓到網頁源碼，接下來要從源碼中找到並提取數據。Beautiful Soup 是 python 的一個庫，其最主要的功能是從網頁中抓取數據。Beautiful Soup 目前已經被移植到 bs4 庫中，也就是說在導入 Beautiful Soup 時需要先安裝 bs4 庫。

安裝 bs4 庫的方式如圖 16 所示:

圖 16
安裝好 bs4 庫以後，還需安裝 lxml 庫。如果我們不安裝 lxml 庫，就會使用 Python 默認的解析器。盡管 Beautiful Soup 既支持 Python 標准庫中的 HTML 解析器又支持一些第三方解析器，但是 lxml 庫具有功能更加強大、速度更快的特點，因此筆者推薦安裝 lxml 庫。

安裝 Python 第三方庫後，輸入下面的代碼，即可開啟 Beautiful Soup 之旅： 
復制純文本復制


    

  1. import requests #導入requests包
    2. 

  2. from bs4 import BeautifulSoup
    3. 

  3. url='http://www.cntour.cn/'
    4. 

  4. strhtml=requests.get(url)
    5. 

  5. soup=BeautifulSoup(strhtml.text,'lxml')
    6. 

  6. data = soup.select('#main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a')
    7. 

  7. print(data)
    8. 

import requests #導入requests包
from bs4 import BeautifulSoup
url='http://www.cntour.cn/'
strhtml=requests.get(url)
soup=BeautifulSoup(strhtml.text,'lxml')
data = soup.select('#main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a')
print(data)
代碼運行結果如圖 17 所示。

圖 17（ 點此查看高清大圖）
Beautiful Soup 庫能夠輕松解析網頁信息，它被集成在 bs4 庫中，需要時可以從 bs4 庫中調用。其表達語句如下：

from bs4 import BeautifulSoup

首先，HTML 文檔將被轉換成 Unicode 編碼格式，然後 Beautiful Soup 選擇最合適的解析器來解析這段文檔，此處指定 lxml 解析器進行解析。解析後便將復雜的 HTML 文檔轉換成樹形結構，並且每個節點都是 Python 對象。這裡將解析後的文檔存儲到新建的變量 soup 中，代碼如下：

soup=BeautifulSoup(strhtml.text,'lxml')

接下來用 select（選擇器）定位數據，定位數據時需要使用浏覽器的開發者模式，將鼠標光標停留在對應的數據位置並右擊，然後在快捷菜單中選擇“檢查”命令，如圖 18 所示：

圖 18
隨後在浏覽器右側會彈出開發者界面，右側高亮的代碼（參見圖  19(b)）對應著左側高亮的數據文本（參見圖 19(a)）。右擊右側高亮數據，在彈出的快捷菜單中選擇“Copy”*“Copy Selector”命令，便可以自動復制路徑。

圖 19 復制路徑 將路徑粘貼在文檔中，代碼如下:

#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li:nth-child(1) > a

由於這條路徑是選中的第一條的路徑，而我們需要獲取所有的頭條新聞，因此將 li：nth-child（1）中冒號（包含冒號）後面的部分刪掉，代碼如下：

#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a

使用 soup.select 引用這個路徑，代碼如下：

data = soup.select('#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a')

清洗和組織數據

至此，獲得了一段目標的 HTML 代碼，但還沒有把數據提取出來，接下來在 PyCharm 中輸入以下代碼： 
復制純文本復制


    

  1. for item in data:
    2. 

  2.  result={

    3. 

  3.  'title':item.get_text(),
    4. 

  4.  'link':item.get('href')
    5. 

  5.  }
    6. 

  6. print(result)
    7. 

for item in data:
result={
'title':item.get_text(),
'link':item.get('href')
}
print(result)
代碼運行結果如圖 20 所示：
圖 20（ 點此查看高清大圖）
首先明確要提取的數據是標題和鏈接，標題在＜a＞標簽中，提取標簽的正文用 get_text() 方法。鏈接在＜a＞標簽的 href 屬性中，提取標簽中的 href 屬性用 get() 方法，在括號中指定要提取的屬性數據，即 get(＇href＇)。

從圖 20 中可以發現，文章的鏈接中有一個數字 ID。下面用正則表達式提取這個 ID。需要使用的正則符號如下:

\d匹配數字
+匹配前一個字符1次或多次

在 Python 中調用正則表達式時使用 re 庫，這個庫不用安裝，可以直接調用。在 PyCharm 中輸入以下代碼: 
復制純文本復制


    

  1. import re
    2. 

  2. for item in data:
    3. 

  3.  result={

    4. 

  4.  "title":item.get_text(),
    5. 

  5.  "link":item.get('href'),
    6. 

  6.  'ID':re.findall('\d+',item.get('href'))
    7. 

  7.  }
    8. 

  8. print(result)
    9. 

import re
for item in data:
result={
"title":item.get_text(),
"link":item.get('href'),
'ID':re.findall('\d+',item.get('href'))
}
print(result)
運行結果如圖 21 所示：

圖 21
這裡使用 re 庫的 findall 方法，第一個參數表示正則表達式，第二個參數表示要提取的文本。

爬蟲攻防戰

爬蟲是模擬人的浏覽訪問行為，進行數據的批量抓取。當抓取的數據量逐漸增大時，會給被訪問的服務器造成很大的壓力，甚至有可能崩潰。換句話就是說，服務器是不喜歡有人抓取自己的數據的。那麼，網站方面就會針對這些爬蟲者，采取一些反爬策略。

服務器第一種識別爬蟲的方式就是通過檢查連接的 useragent 來識別到底是浏覽器訪問，還是代碼訪問的。如果是代碼訪問的話，訪問量增大時，服務器會直接封掉來訪 IP。

那麼應對這種初級的反爬機制，我們應該采取何種舉措？

還是以前面創建好的爬蟲為例。在進行訪問時，我們在開發者環境下不僅可以找到 URL、Form Data，還可以在 Request headers 中構造浏覽器的請求頭，封裝自己。服務器識別浏覽器訪問的方法就是判斷 keyword 是否為 Request headers 下的 User-Agent，如圖 22 所示。

圖 22
因此，我們只需要構造這個請求頭的參數。創建請求頭部信息即可，代碼如下：

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}
response = request.get(url,headers=headers)

寫到這裡，很多讀者會認為修改 User-Agent 很太簡單。確實很簡單，但是正常人1秒看一個圖，而個爬蟲1秒可以抓取好多張圖，比如 1 秒抓取上百張圖，那麼服務器的壓力必然會增大。也就是說，如果在一個 IP 下批量訪問下載圖片，這個行為不符合正常人類的行為，肯定要被封 IP。

其原理也很簡單，就是統計每個IP的訪問頻率，該頻率超過阈值，就會返回一個驗證碼，如果真的是用戶訪問的話，用戶就會填寫，然後繼續訪問，如果是代碼訪問的話，就會被封 IP。

這個問題的解決方案有兩個，第一個就是常用的增設延時，每 3 秒鐘抓取一次，代碼如下：

import time
time.sleep(3)

但是，我們寫爬蟲的目的是為了高效批量抓取數據，這裡設置 3 秒鐘抓取一次，效率未免太低。其實，還有一個更重要的解決辦法，那就是從本質上解決問題。

不管如何訪問，服務器的目的就是查出哪些為代碼訪問，然後封鎖 IP。解決辦法：為避免被封 IP，在數據采集時經常會使用代理。當然，requests 也有相應的 proxies 屬性。

首先，構建自己的代理 IP 池，將其以字典的形式賦值給 proxies，然後傳輸給 requests，代碼如下： 
復制純文本復制


    

  1. proxies={

    2. 

  2.  "http":"http://10.10.1.10:3128",
    3. 

  3.  "https":"http://10.10.1.10:1080",
    4. 

  4. }
    5. 

  5. response = requests.get(url, proxies=proxies)
    6. 

proxies={
"http":"http://10.10.1.10:3128",
"https":"http://10.10.1.10:1080",
}
response = requests.get(url, proxies=proxies)

擴展閱讀

本文僅對 Python 爬蟲及實現過程做了簡明扼要地介紹，僅能使初學者對 python 爬蟲有一個淺顯的認識，並不能讓你完全掌握 Python 爬蟲。

如果你想對 Python 爬蟲有更深入的了解，我推薦你閱讀：
  • Python爬蟲入門教程 
  • Python3網絡爬蟲入門教程
  • Python爬蟲教程——慕課網

  1. 上一篇文章：
  2. 下一篇文章：
Python
Python implements backgammon based on alpha-beta pruning technology

目錄 第1章 問題描述 3 第2章 問題分析 3 第3章 算
教你如何在Windows上安裝Python

Python是一種計算機程序設計語言,是一種面
自學Python 35 閉包:函數和利用引用環境組合而成的實體

Python 閉包文章目錄Python 閉包一、什麼是閉包二
January 3, 2022 Python asyncio Get() and task of queue_ done()

about asyncio Queues , Use get
非計算機專業學習Python是否有意義，以及需要多久能入門

首先，在當前的大數據、人工智能時代背景下，非計算機專業的同學
Python winter vacation learning notes

Code reuse and function recurs
相關文章
    没有相关文章
閱讀排行榜
Écrire un exemple de code de nommage basé sur Python caffe的python接口生成solver文件詳解學習 C＃中的 Attribute 與 Python/TypeScript 中的裝飾器是同個東西嗎 High-density giant pandas in water found in Chunan First Reservoir!older than dinosaurs Pandas custom change the order of columns in dataframe float32和float64的本質區別(類型對深度學習影響以及python的使用) pycharm: connection to Python debugger failed: Socket operation on nonsocket: configu According to the longitude and latitude coordinates, the name of the administrative division city of the province, city and county is obtained, and the self built database Java Python PHP C ＃ Net 三、python中最基礎的文件處理匯總 文件和目錄操作|多進程和多線程【python進階篇】 Python data structure (Lecture 1 Introduction - Lecture 2 algorithm analysis)
熱門圖文
微軟等數據結構與算法面試100題 第一題 hdu bignumber 同時兼容32位與64位機器的php hash函數 中國銀聯支付平台開發和實現教程 asp.net高級教程（一）---asp.net , 還是asp+ ？ checkboxclumn-在dgv中設置了一列checkboxcolumn，怎麼判斷這個勾選框是被打鉤了的 什麼是java？，java? javascript模塊化編程(轉載)，javascript模塊化
欄目導航
  • 匯編語言
    •   
  • Delphi
    •   
  • Groovy
    •   
  • WebSphere
    •   
  • Rational
    •   
  • Python
    •   
  • Ruby
    •   
  • 編程解疑
    •   
  • 編程綜合問答
    •   
  • 更多關於編程
    •   
  • 編程問題解答
    • Copyright © 程式師世界 All Rights Reserved