禅鸣之时

编写不易，转载请注明（http://shihlei.iteye.com/blog/2067688）！ 一 概述       HttpClient是最常见的Http请求工具，很好的封装 Http请求，响应，Cookies操作，适合网络爬虫处理静态页面及其他资源。     HttpCient能自动处理302客户端重定向，这个很喜欢！     HttpClient4.3.3 API较之前的...

编写不易，转载请注明（http://shihlei.iteye.com/blog/2067707）！ 一 概述       HttpClient适合处理静态资源，网络爬虫等类似应用很大程度需要处理动态网页（内容有js填充，如百度图片，body里基本没有数据，碰到最麻烦的是新浪微博列表页）。将网页下载后，结合JS和Dom模型还原网页，我目前还未攻破，但在下载层还原网页，HtmlUnit是一...

编写不易，转载请注明（http://shihlei.iteye.com/blog/2067716）！ 一概述     获取动态资源，可以使用HtmlUnit，但是其对JS的支持还是不够完善。相对与HtmlUnit还有一种驱动浏览器的下载还原工具Selenium。可以打开浏览器，获取网页，下载解析，支持dom，js，解析效果更好，但是打开浏览器速度方面有一定损失。个人实验，禁用CSS，图片下...