NET 爬虫

最近经常听说或者接触关于网络爬虫的问题，只是一直看到被人写的代码。而没有真正的做过实践，昨天做了一下尝试，其中采用网络流行的扩展类库 http://html-agility-pack.net/?z=codeplex 遇到的问题是：部分网站禁止爬虫，或者有规则验证，无法通过模拟http 请求获取 h