【爬蟲+可視化】Python爬取疫情並可視化處理數據（爬蟲入門案例）

知識點

• 爬蟲基本流程

• json

• requests 爬蟲當中 發送網絡請求

• pandas 表格處理 / 保存數據

• pyecharts 可視化

首先我們介紹一下什麼是爬蟲。什麼是爬蟲？網絡爬蟲是一種程序,主要用於搜索引擎,它將一個網站的所有內容與鏈接進行閱讀,並建立相關的全文索引到數據庫中,然後跳到另一個網站.樣子好像一只大蜘蛛.當人們在網絡上(如google)搜索關鍵字時,其實就是比對數據庫中的內容,找出與用戶相符合的.網絡爬蟲程序的質量決定了搜索引擎的能力,如google的搜索引擎明顯要比百度好,就是因為它的網絡爬蟲程序高效,編程結構好.可以這麼簡單的理解一下爬蟲。即請求網站並且提取自己所需的數據的一個過程。至於怎麼爬如何爬，將是後面進行學習的內容，暫且不必深究。通過我們的程序，可以代替我們向服務器發送請求，然後進行批量、大量的數據的下載。我們再來看看爬蟲的基本流程。爬蟲的基本流程發起請求：通過url向服務器發起request請求，請求可以包含額外的header信息。獲取響應內容：如果服務器正常響應，那我們將會收到一個response，response即為我們所請求的網頁內容，或許包含HTML，Json字符串或者二進制的數據（視頻、圖片）等。解析內容：如果是HTML代碼，則可以使用網頁解析器進行解析，如果是Json數據，則可以轉換成Json對象進行解析，如果是二進制的數據，則可以保存到文件進行進一步處理。保存數據：可以保存到本地文件，也可以保存到數據庫（MySQL，Redis，Mongodb等）在了解上面的基本內容後，我們通過爬取疫情數據來加深我們對爬蟲概念的理解。

• 發送請求

• 獲取數據 網頁源代碼

• 解析數據 篩選一些我想用的數據

• 保存數據 保存成表格

• 做數據可視化分析

爬蟲完整代碼

導入模塊import requests # 第三方模塊(發送請求)
import re # 正則
import json
import csv
然後我們需要選擇我們的目標網址。發送請求url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia/?from=osari_aladin_banner'
response = requests.get(url=url, headers=headers)
解析數據json_str = re.findall('"component":\[(.*)\],', data_html)[0]
json_dict = json.loads(json_str)
caseList = json_dict['caseList']
for case in caseList:
 area = case['area'] # 省份
 curConfirm = case['curConfirm'] # 確診人數
 confirmedRelative = case['confirmedRelative'] # 新增人數
 confirmed = case['confirmed'] # 累計確診
 crued = case['crued'] # 累計確診
 died = case['died'] # 累計確診
 print(area, curConfirm, confirmedRelative, confirmed, crued, died)


數據可視化

導入模塊from pyecharts import options as opts
from pyecharts.charts import Map
import pandas as pd
數據可視化首先我們看看各地區確診人數。china_map = (
 Map()
 .add("現有確診", [list(i) for i in zip(df['area'].values.tolist(),df['curConfirm'].values.tolist())], "china")
 .set_global_opts(
 title_opts=opts.TitleOpts(title="各地區確診人數"),
 visualmap_opts=opts.VisualMapOpts(max_=200, is_piecewise=True),
 )
)
china_map.render_notebook()

各地區死亡率和治愈率line = (
 Line()
 .add_xaxis(list(df['province'].values))
 .add_yaxis("治愈率", df['healRate'].values.tolist())
 .add_yaxis("死亡率", df['deadRate'].values.tolist())
 .set_global_opts(
 title_opts=opts.TitleOpts(title="死亡率與治愈率"),

 )
)
line.render_notebook()
各地區的死亡人數和治愈人數bar = (
 Bar()
 .add_xaxis(list(df['province'].values)[:6])
 .add_yaxis("死亡", df['dead'].values.tolist()[:6])
 .add_yaxis("治愈", df['heal'].values.tolist()[:6])
 .set_global_opts(
 title_opts=opts.TitleOpts(title="各地區確診人數與死亡人數情況"),
 datazoom_opts=[opts.DataZoomOpts()],
 )
)
bar.render_notebook()

我們最後寫個可視化的全國疫情地圖cofirm, currentCofirm, cured, dead = [], [], [], []

tab = Tab()

_map = (
 Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
 .add("累計確診人數", [list(i) for i in zip(df['area'].values.tolist(),df['confirmed'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False)
 .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
 .set_global_opts(
 title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
 ),
 legend_opts=opts.LegendOpts(is_show=False),
 visualmap_opts=opts.VisualMapOpts(is_show=True, max_=1000,
 is_piecewise=False,
 range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000'])
 )
)
tab.add(_map, '累計確診')

_map = (
 Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
 .add("當前確診人數", [list(i) for i in zip(df['area'].values.tolist(),df['curConfirm'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False)
 .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
 .set_global_opts(
 title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
 ),
 legend_opts=opts.LegendOpts(is_show=False),
 visualmap_opts=opts.VisualMapOpts(is_show=True, max_=100,
 is_piecewise=False,
 range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000'])
 )
)
tab.add(_map, '當前確診')

_map = (
 Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
 .add("治愈人數", [list(i) for i in zip(df['area'].values.tolist(),df['crued'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False)
 .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
 .set_global_opts(
 title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
 ),
 legend_opts=opts.LegendOpts(is_show=False),
 visualmap_opts=opts.VisualMapOpts(is_show=True, max_=1000,
 is_piecewise=False,
 range_color=['#FFFFE0', 'green'])
 )
)
tab.add(_map, '治愈')

_map = (
 Map(init_opts=opts.InitOpts(theme='dark', width='1000px'))
 .add("死亡人數", [list(i) for i in zip(df['area'].values.tolist(),df['died'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False)
 .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
 .set_global_opts(
 title_opts=opts.TitleOpts(title="新型冠狀病毒全國疫情地圖",
 ),
 legend_opts=opts.LegendOpts(is_show=False),
 visualmap_opts=opts.VisualMapOpts(is_show=True, max_=50,
 is_piecewise=False,
 range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000'])
 )
)
tab.add(_map, '死亡')

tab.render_notebook()