python爬蟲-35-scrapy實操入門，一文帶你入門，保姆級教程

1、安裝​​scrapy​​相關組件

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple


1.

如果在​​windows​​​系統下，提示這個錯誤​​ModuleNotFoundError: No module named 'win32api'​​​，那麼使用以下命令可以解決：​​pip install pypiwin32​​。

2、創建scrapy項目

必須使用命令行來創建，因為​​pycharm​​​默認無法創建​​scrapy​​項目；

scrapy startproject [項目名稱]


1.

示例如下：

(yunweijia) PS C:\Users\22768\yunweijia\Scripts\scrapy> scrapy startproject mode_1

New Scrapy project 'mode_1', using template directory 'C:\Users\22768\yunweijia\lib\site-packages\scrapy\templates\project', created in:

 C:\Users\22768\yunweijia\Scripts\scrapy\mode_1



You can start your first spider with:

 cd mode_1

 scrapy genspider example example.com

(yunweijia) PS C:\Users\22768\yunweijia\Scripts\scrapy>


1.
2.
3.
4.
5.
6.
7.
8.

3、創建一個爬蟲

命令：

scrapy genspider 爬蟲名 域名


1.

示例如下：

(yunweijia) PS C:\Users\22768\yunweijia\Scripts\scrapy\mode_1> scrapy genspider example example.com

Created spider 'example' using template 'basic' in module:

 mode_1.spiders.example

(yunweijia) PS C:\Users\22768\yunweijia\Scripts\scrapy\mode_1>


1.
2.
3.
4.

4、查看創建結果

創建完畢之後可以看下具體創建了什麼文件；

我們使用​​pycharm​​打開看下；

​​scrapy​​爬蟲項目中每個文件的作用如下：

• ​​items.py​​：用來存放爬蟲爬取下來數據的模型；
• ​​middlewares.py​​：用來存放各種中間件的文件；
• ​​pipelines.py​​​：用來將​​items​​的模型，存儲到本地磁盤中；
• ​​settings.py​​：一些配置信息，比如請求頭，地址代理等；
• ​​scrapy.cfg​​：項目的配置文件；
• ​​spiders​​​：項目的爬蟲都在這個目錄下，可以看到我們剛創建的​​example​​這爬蟲，就在這個目錄下了；

更多內容請轉至VX公眾號 “運維家” ，獲取最新文章。

------ “運維家”  ------

------ “運維家”  ------

------ “運維家”  ------

linux系統下，mknodlinux，linux目錄寫權限，大白菜能安裝linux嗎，linux系統創建文件的方法，領克linux系統怎麼裝軟件，linux文本定位；

ocr識別linux，linux錨定詞尾，linux系統使用記錄，u盤有linux鏡像文件，應屆生不會Linux，linux內核64位，linux自啟動管理服務；

linux計算文件夾大小，linux設備名稱有哪些，linux能用的虛擬機嗎，linux系統進入不了命令行，如何創建kalilinux，linux跟so文件一樣嗎。