关于使用scrapy框架爬取小说的进一步优化

一、背景：前面使用scrapy框架爬取小说时，需要修改两个文件内容才能开展新的爬取，考虑只修改一个文件，把需要修改的参数都放入爬虫文件中。 二、实现过程： 1、items.py中添加三个全局变量 (python) [root@DL xbiquge]# vi xbiquge/items.py impo
posted @ 2020-07-24 13:57  sfccl  阅读(235)  评论(0)  编辑  收藏  举报