2019年12月17日
《学习scrapy框架爬小说》的进一步完善
摘要： 一、完善目标： 1、为方便使用，把小说拼音或英文名，小说输出中文名，第一章节url地址变量化，修改这些参数即可爬取不同的小说。 2、修改settings.py设置文件，配置为记录debug的log信息，以方便排错。 3、修改字符集编码，解决部分网页有emoji符号，导致无法把爬取的网页内容存入数据表 阅读全文
posted @ 2019-12-17 19:02 sfccl 阅读(313) 评论(0) 推荐(0) 编辑