《学习scrapy框架爬小说》的进一步完善

一、完善目标： 1、为方便使用，把小说拼音或英文名，小说输出中文名，第一章节url地址变量化，修改这些参数即可爬取不同的小说。 2、修改settings.py设置文件，配置为记录debug的log信息，以方便排错。 3、修改字符集编码，解决部分网页有emoji符号，导致无法把爬取的网页内容存入数据表
posted @ 2019-12-17 19:02  sfccl  阅读(313)  评论(0)  编辑  收藏  举报