Python 开发轻量级爬虫04

Python 开发轻量级爬虫 (imooc总结04--url管理器) 介绍抓取URL管理器 url管理器用来管理待抓取url集合和已抓取url集合。 这里有一个问题，遇到一个url，a56爆大奖在线娱乐们就抓取它的内容，为什么还要对url进行管理呢？ 是为了防止重复抓取、防止循环抓取。 a56爆大奖在线娱乐们都知道，每一个网页都有很多
posted @ 2016-09-05 07:58  billyz  阅读(248)  评论(0)  编辑  收藏  举报