学习爬虫的记录

学了一些爬虫的入门，记录一下。

步骤：爬取网上所需要的东西，下载，分析。

用的Java语言，其他语言也可以。

有很多已经封装好的包可以直接拿过来用，例如httpClient、Jsoup、htmlUnit等，还有一个XPath，它能够提取出需要的数据，htmlUnit支持，Jsoup不支持。Jsoup和htmlUnit本身也自带有提取数据的API。

HTML的数据都是树状结构的，所以可以根据其中的元素的排列、标签的属性等等一些特殊的标记来找出HTML中需要的东西。

这些封装好的包基本的功能都有，但是网页的数据有很多情况。例如：新闻网站上的数据不需要登陆就可以拿到页面的数据；而像新浪微博的数据就必须先登录才能提取到后面的数据。这就是这些包的不同，Jsoup不能模拟登陆，htmlUnit则可以进行模拟登陆，还有JavaScript和Ajax的功能，尽管不能很好的支持。

后面会记录一些实际的例子。