学习scrapy框架爬小说

一、背景：近期学习python爬虫技术，感觉挺有趣。由于手动自制爬虫感觉效率低，了解到爬虫界有先进的工具可用，尝试学学scrapy爬虫框架的使用。 二、环境：centos7，python3.7，scrapy1.7.3 三、scrapy原理简述： 1、scrapy框架组成：引擎、调度器、下载器（含下载
posted @ 2019-08-23 18:02  sfccl  阅读(350)  评论(0)  编辑  收藏  举报