Python爬虫编程思想(147):在PyCharm中使用Scrapy
蒙娜丽宁 于 2022-05-26 22: 2022-5-26 22:26:42 Author: blog.csdn.net(查看原文) 阅读量:12 收藏

蒙娜丽宁 于 2022-05-26 22:26:42 发布 1126 收藏 1

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

153 篇文章 24 订阅 ¥29.90 ¥99.00

        前面的例子是通过文本编辑器编写的,但在实际的开发中不可能用文本编辑器编写整个网络爬虫,所以需要选择一个IDE。我推荐目前最流行的PyCharm作为Python IDE。

        PyCharm不支持建立Scrapy工程,所以要先使用上一节介绍的方法通过命令行方式创建一个工程,然后再使用PyCharm创建一个普通的Python工程,将包含spiders子目录的myscrapy目录和scrapy.cfg文件复制到新建立的Python工程中。为了能直接在Python工程中运行网络爬虫,需要在myscrapy目录中建立一个execute.py脚本文件(文件名可以任意起),然后输入下面的代码。

from scrapy import cmdline
# 通过代码运行基于Scrapy框架的网络爬虫
cmdline.execute('scrapy crawl FirstSpider'.split())

        如果要运行其他的网络爬虫,只需要修改上面代码中字符串里面的命令即可。

        使用scrapy命令创建的工程包含两个myscrapy目录࿰


文章来源: https://blog.csdn.net/nokiaguy/article/details/124994018
如有侵权请联系:admin#unsafe.sh