Pycharm安装scrapy及初始化爬虫项目的完整步骤

目录

• 一）安装scrapy：
• 二）创建一个scrapy爬虫项目：
• 三）开启pycharm对scrapy框架的调试功能：
• 总结

一）安装scrapy：

1、打开cmd命令窗口，输入：pip install Scrapy。

2、安装成功之后会显示下面字符，表示未将scrapy设置到环境变量。

3、配置环境变量：右键我的电脑–>属性–>高级设置—>环境变量—->系统变量中的Path—>编辑—>添加—>将上文中黄色的路径添加到环境变量即可。

4、scrapy安装完毕。

二）创建一个scrapy爬虫项目：

1、创建一个普通的Pycharm项目，然后找到下面的terminal

 2、输入命令scrapy startproject 模块名称(可以自己随便起，我以名为mine为例)，成功之后你会发现自己的项目中多了一个mine的包文件。

 3、上述操作成功后终端会显示下图文字：此时我们输入cd那条命令。进入目标文件。

 4、这时就可以创建爬虫目标文件啦，

        输入scrapy genspider 爬取名 网站域名

1、爬取名是自己随便起的，比如我要爬百度那么我就可以起名为baidu

2、网站域名就是去掉  https:www.  剩下的部分，以博客园的为例：

网址为：https://www.cnblogs.com/

域名为 cnblogs.com

 2和3操作截图： 

5、此时我们会在目录里看见一个新的py文件：里自动生成如下代码：

三）开启pycharm对scrapy框架的调试功能：

由于pycharm没有创建scrapy框架的模块，所以我们想调试scrapy程序时要自己写一个小脚本来开启pycharm对scrapy的调试功能。

 1、在与mine包同级条件下创建一个main.py文件：

 2、mine文件将一下代码赋值进去：

import os
import sys
 
from scrapy.cmdline import execute
 
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "cnblog"])  # 第三个参数为自己创建的那个爬取的名称

 这样就大功告成啦！

总结