php 抓取网页信息

            最近要抓取网页数据，就用php试了下，发现了一个不错的php抓取数据的集成类simple_html_dom.php，

而根据网页的特点大致分为两类，一类是网页dom结构相同，url类似只是改了部分参数，这个

直接用$html =file_get_html($url); 然后根据网页dom用$html->find()->plaintext来获取数据，

第二类是网页dom结构相同，只是url不能直接访问到，这就需要在其前一个页面找到该页面的url和要传入的数据，

然后用curl 模拟提交，$str=$this->https_post($url,$data);   $html =str_get_html($str);之后处理的方法是一样的，

    当然这种方法只能抓取少量的数据，三四千个页面还算处理的过来，一旦数据上万，就不行了，太费时间了，

不知道php是否有更好方法去抓取数据。