您现在的位置：程式師世界 >> 編程語言 > >> 更多編程語言 >> Python

100天精通Python（爬蟲篇）——第44天：requests庫大總結

編輯：Python

文章目錄

每篇前言
一、request模塊大總結
- 1. 下載安裝
- 2. 常用屬性或方法
- 3. response.text和response.content的區別:
- 4. 發送帶headers參數請求
- 5. 發送帶參數請求
- 6. 在headers參數中攜帶cookie
- 7. 超時參數timeout的使用
- 8. proxies代理參數的使用
- 9. 發送post請求

每篇前言

作者介紹：Python領域優質創作者、華為雲享專家、阿裡雲專家博主、2021年CSDN博客新星Top6
本文已收錄於Python全棧系列專欄：《100天精通Python從入門到就業》
此專欄文章是專門針對Python零基礎小白所准備的一套完整教學，從0到100的不斷進階深入的學習，各知識點環環相扣
訂閱專欄後續可以閱讀Python從入門到就業100篇文章；還可私聊進兩百人Python全棧交流群（手把手教學，問題解答）；進群可領取80GPython全棧教程視頻 + 300本計算機書籍：基礎、Web、爬蟲、數據分析、可視化、機器學習、深度學習、人工智能、算法、面試題等。
加入我一起學習進步，一個人可以走的很快，一群人才能走的更遠！

一、request模塊大總結

本文主要學習requests這個http模塊，該模塊主要用於發送請求獲取響應，該模塊有很多的替代模塊，比如說urlib模塊，但是在工作中用的最多的還是requests模塊，requests的代碼簡潔易懂，相對於臃腫的urlib模塊，使用requests編寫的爬蟲代碼將會更少，而且實現某-功能將會簡單。因此建議大家掌握該模塊的使用

1. 下載安裝

1. window電腦點擊win鍵+ R，輸入：cmd

2. 安裝requests，輸入對應的pip命令：pip install requests，我已經安裝過了出現版本就安裝成功了

2. 常用屬性或方法

方法/屬性說明response = requests.get(url)發送請求獲取的響應對象（最常用）response = requests.post(url)發送請求獲取的響應對象response.url響應的url;有時候響應的ur1和請求的urI並不一致response.status_ code響應狀態碼，如：200,404response.request.headers響應對應的請求頭response. headers響應頭response.request.cookies響應對應請求的cookie; 返回cookieJar類型response.cookies響應的cookie (經過了set- cookie動作; 返回cookieJar類型）response.json()自動將json字符串類型的響應內容轉換為python對象 (dict or list)response.text返回響應的內容，str類型response.content返回響應的內容， bytes類型

簡單代碼實現：通過requests向百度首頁發送請求，獲取該頁面的源碼

import requests
# 目標網址
url = "http://www.baidu.com/"
# 發送請求獲取響應
response = requests.get(url)
# 查看響應對象的類型
print(type(response))
# 查看響應狀態碼
print(response.status_code)
# 查看響應內容的類型
print(type(response.text))
# 查看cookies
print(response.cookies)
# 查看響應的內容
print(response.text)

輸出結果：

<class 'requests.models.Response'>
200
<class 'str'>
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç¾åº¦ä¸€ä¸‹ class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ–°é—»</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>åœ°å›¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§†é¢‘</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç»å½•</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç»å½•</a>');</script> <a href=https://www.baidu.com/more/ name=tj_briicon class=bri >æ›´å¤šäº§å“</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å
³äºŽç¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>ä½¿ç”¨ç¾åº¦å‰å¿
è¯»</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>æ„è§åé¦ˆ</a>&nbsp;äº¬ICPè¯030173å·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
b'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe5\xb0\xb1\xe7\x9f\xa5\xe9\x81\x93</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>\xe6\x96\xb0\xe9\x97\xbb</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>\xe5\x9c\xb0\xe5\x9b\xbe</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>\xe8\xa7\x86\xe9\xa2\x91</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>\xe8\xb4\xb4\xe5\x90\xa7</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>\xe7\x99\xbb\xe5\xbd\x95</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">\xe7\x99\xbb\xe5\xbd\x95</a>\');</script> <a href=https://www.baidu.com/more/ name=tj_briicon class=bri >\xe6\x9b\xb4\xe5\xa4\x9a\xe4\xba\xa7\xe5\x93\x81</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>\xe5\x85\xb3\xe4\xba\x8e\xe7\x99\xbe\xe5\xba\xa6</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>\xe4\xbd\xbf\xe7\x94\xa8\xe7\x99\xbe\xe5\xba\xa6\xe5\x89\x8d\xe5\xbf\x85\xe8\xaf\xbb</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>\xe6\x84\x8f\xe8\xa7\x81\xe5\x8f\x8d\xe9\xa6\x88</a>&nbsp;\xe4\xba\xacICP\xe8\xaf\x81030173\xe5\x8f\xb7&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'

3. response.text和response.content的區別:

response.text：

類型：str
解碼類型: requests模塊自動根據HTTP頭部對響應的編碼作出有根據的推測，推測的文本編碼

response.content：

類型：bytes
解碼類型：沒有指定，執行挑選

通過對response.content進行decode,來解決中文亂碼：

response.content.decode()：默認utf-8
response.content.decode('GBK')

常見的編碼字符集

utf-8
gbk
gb2312
asci (讀音:阿斯克碼)
iso-8859-1

代碼演示：

import requests
# 目標網址
url = "http://www.baidu.com/"
# 發送請求獲取響應
response = requests.get(url)
# 手動設置編碼格式
response.encoding = 'utf8'
# 打印源碼的str類型數據
print(response.text)
# response.content是存儲的bytes類型的響應數據，進行decode操作
print(response.content.decode('utf-8'))

運行結果：

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新聞</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地圖</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>視頻</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>貼吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登錄</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登錄</a>');</script> <a href=https://www.baidu.com/more/ name=tj_briicon class=bri >更多產品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>關於百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必讀</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意見反饋</a>&nbsp;京ICP證030173號&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新聞</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地圖</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>視頻</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>貼吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登錄</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登錄</a>');</script> <a href=https://www.baidu.com/more/ name=tj_briicon class=bri >更多產品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>關於百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必讀</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意見反饋</a>&nbsp;京ICP證030173號&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

4. 發送帶headers參數請求

1）查看浏覽器請求頭

1. 打開谷歌浏覽器》右鍵檢查》點擊左上角刷新網頁
2. 點擊Network 》找到對應的網址》往下翻找到User-Agent並復制

2）代碼說明

requests.get(ur1, headers=headers)

headers參數接收字典形式的請求頭
請求頭字段名作為key,字段對應的值作為value

3）代碼實現：

import requests
# 目標網址
url = "http://www.baidu.com/"
# 構建請求頭字典，最重要的就是User-Agent
# 如果需要其他請求頭，就在headers字典中加上
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}
# 發送請求獲取響應
response = requests.get(url,headers=headers)
print(response.text)

運行結果：整個網頁源碼：

5. 發送帶參數請求

如何刪除網頁地址中多余參數？

百度搜：python，可以看到url地址特別復雜
通過一個一個刪除參數並刷新，最終得到

第一種方法：網址中帶參數

import requests
# 目標網址
url = "https://www.baidu.com/s?wd=python"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}
# 發送請求獲取響應
response = requests.get(url,headers=headers)
print(response.text)

第二種方式：通過params構造參數字典

import requests
# 目標網址
url = "https://www.baidu.com/s?"
headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}
# 請求參數是一個字典
kw = {
'wd': 'python'}
# 發送請求的時候設置參數字典，獲取響應
response = requests.get(url, headers=headers, params=kw)
print(response.text)

6. 在headers參數中攜帶cookie

網站經常利用請求頭中的Cookie字段來做用戶訪問狀態的保持，那麼我們可以在headers參數中添加Cookie，模擬普通用戶的請求。Cookie具有時效性過一段時間需要更換

1. 打開谷歌浏覽器》右鍵檢查》點擊左上角刷新網頁
2. 點擊Network 》找到對應的網址》往下翻找到Cookie並復制

3. 在headers字典中添加cookie參數

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
'Cookie': 'BAIDUID=157D064FDE25DE5DD0E68AF62CBC3627:FG=1; BAIDUID_BFESS=157D064FDE25DE5DD0E68AF62CBC3627:FG=1; BIDUPSID=157D064FDE25DE5DD0E68AF62CBC3627; PSTM=1655611179; BD_UPN=12314753; ZFY=Cs:BflL5Del98YBOjx2EyRPzQE3QCyolFKzgVTguBEHI:C; BD_HOME=1; H_PS_PSSID=36548_36626_36673_36454_31254_36452_36690_36165_36693_36696_36569_36657_26350_36469; BA_HECTOR=85850gag05ak0l040h1hbg5st14; delPer=0; BD_CK_SAM=1; PSINO=7; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; H_PS_645EC=0e08fXgvc5rDJVK1jRjlqmZ7pLp5r%2Fmn9jlENTs3CQ4%2FbhzUL09Y%2F%2FYtCGA; baikeVisitId=e10d7983-547d-4f34-a8d8-ec98dbcba8e4; COOKIE_SESSION=115_0_2_2_1_2_1_0_2_1_0_0_0_0_0_0_1655611189_0_1656233437%7C3%230_0_1656233437%7C1'
}

7. 超時參數timeout的使用

在平時網.上沖浪的過程中，我們經常會遇到網絡波動，這個時候，一個請求等了很久可能任然沒有結果。在爬蟲中，一個請求很久沒有結果，就會讓整個項目的效率變得非常低，這個時候我們就需要對請求進行強制要求，讓他必須在特定的時間內返回結果，否則就報錯。

1.超時參數timeout的使用方法

response = requests.get(ur1, timeout=3)

2. timeout=3 表示：發送請求後，3秒鐘內返回響應，否則就拋出異常

3. 實戰代碼:

import requests
# 目標網址
url = "https://www.baidu.com/"
headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
try:
response = requests.get(url, headers=headers, timeout=10) # 超時設置為10秒
except:
for i in range(4): # 循環去請求網站
response = requests.get(url, headers=headers, timeout=20)
if response.status_code == 200:
break
html_str = response.text

8. proxies代理參數的使用

為了讓服務器以為不是同一個客戶端在請求；為了防止頻繁向一個域名發送請求被封ip，所以我們需要使用代理ip

語法:

response = requests.get(url, proxies=proxies)

proxies的形式: 字典

proxies = {

"http": "http://12.34.5679:9527",
"https": "https://12.34.5679:9527",
}

注意：如果proxies字典中包含有多個鍵值對，發送請求時將按照ur地址的協議來選擇使用相應的代理ip

9. 發送post請求

requests模塊發送post請求函數的其它參數和發送get請求的參數完全一致

語法格式：

response = requests.post(url, data) # data參數接收一個字典

如何找到data表單？

以百度翻譯為例：找到對應的請求，點擊Payload，展開Form data表單

代碼中構造data字典

import requests
url = "https://fanyi.baidu.com/"
data = {

'query': '愛'
}
response = requests.post(url)
print(response.text)

返回完整的網頁

上一篇文章： Pycharm cannot set up a python SDK問題的原因及解決方法
下一篇文章： Can DWs Python resources be imported into algorithms for use as UDFs

Python

Python generate full permutation

def print_res(a): print(a) def

Python collects beauty content. Come and learn to download all your favorite content~

Catalog （ You can click on the

“偽”Linux目錄樹命令tree——幾行代碼一個遞歸，就可以在python代碼中tree

Python 官網： python https://www.

Opencv圖像查找findHomography（python實現）

文章目錄1.圖像查找=特征匹配+單應性矩陣（1）函數講解（2

自動化python的簡單使用

文章目錄環境配置pycharm 環境配置下載&nb

Python——列表中元組依次取第一個元素（值）

參考文章：python 列表中元組依次取第一個值如何從嵌套的

没有相关文章

熱門圖文

poj1463-1A 二叉樹代碼(較全) tabs-設置一個帶小三角形的選項卡 JSP自定義標簽基礎知識學習，jsp自定義基礎知識 c#操作json示例分享 2022 Summer Practice (Django Tutorial Learning Record) (4th week 6) P56 image verification code (check) [Leetcode brush questions Python] 318. Maximum word length product NGUI實現滑動翻頁效果實例代碼

欄目導航