经验总结21--抓取WEB数据，汇率，HtmlAgilityPack

网上找了非常多资料，PHP的比較多，然后找到有csv文件的。处理起来非常麻烦，国外的站点速度非常慢。

最后还是去页面上抓取数据，我是从中国银行抓取的，各位可去其它站点抓取。

1、模拟请求URL。

string url = "http://srh.bankofchina.com/search/whpj/search.jsp?

pjname=1316";

HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;

request.Method = "GET";

request.ContentType = "text/html; charset=UTF-8";

request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0";

HttpWebResponse response = request.GetResponse() as HttpWebResponse;

Stream myResponseStream = response.GetResponseStream();

StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.UTF8);

string result = myStreamReader.ReadToEnd();

2、对HTML进行处理。

使用HtmlAgilityPack进行辅助。

HtmlDocument doc = new HtmlDocument();

doc.LoadHtml(result);

foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//td"))

{

if (node.InnerText == "美元")

{

result = node.NextSibling.NextSibling.InnerText;

break;

}

}

具体数据位置。自己可先用F12查找到。然后使用工具进行查找，具体文档自己去查，这种方法临时获取到USD-CNY的汇率。