爬虫开发记录：网站国际化，语言设置

最近在做爬虫开发时，目标网站做了国际化，有多种语言。但是我只想要中文的。

爬下来的确是英文的。

在网上找了资料。

一般的网站语言自适应大概就是用IP判断，或者Header信息判断。

IP这个排除掉，因为我网页访问和用HtmlUnit访问都是一个IP。

于是就改了HtmlUnit的header信息。

果然，奏效。

下面是代码

String  url="https://www.gfresh.cn/";//想采集的网址
URL link=new URL(url);
WebClient wc=new WebClient();
WebRequest request=new WebRequest(link);
request.setCharset("UTF-8");
////设置请求报文头里的User-Agent字段
request.setAdditionalHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");
request.setAdditionalHeader("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4");
//wc.addRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");
//wc.addRequestHeader和request.setAdditionalHeader功能应该是一样的。选择一个即可。
//其他报文头字段可以根据需要添加
wc.getCookieManager().setCookiesEnabled(true);//开启cookie管理
wc.getOptions().setJavaScriptEnabled(true);//开启js解析。对于变态网页，这个是必须的
wc.getOptions().setCssEnabled(true);//开启css解析。对于变态网页，这个是必须的。
wc.getOptions().setThrowExceptionOnFailingStatusCode(false);
wc.getOptions().setThrowExceptionOnScriptError(false);
wc.getOptions().setTimeout(10000);
//准备工作已经做好了
HtmlPage page=null;
page = wc.getPage(request);

System.out.println(page.asXml());

随便记录一下吧，之后再完善。还要继续干活儿呢~