使用C#获取网页HTML源码的例子
2014-08-13 10:07
796 查看
最近在做一个项目,其中一个功能是根据一个URL地址,获取到网页的源代码。在ASP.NET(C#)中,获取网页源代码貌似有很多种方法,我随便搞了一个简单的WebClient,非常简单容易。但后面一个非常恼火的问题出来了,那就是中文的乱码。
通过仔细研究,中文的网页不外乎GB2312和UTF-8这两种编码。于是有了下面这段代码:
/// <summary>
/// 根据网址的URL,获取源代码HTML
/// </summary>
/// <param name="url"></param>
/// <returns></returns>
public static string GetHtmlByUrl(string url)
{
using (WebClient wc = new WebClient())
{
try
{
wc.UseDefaultCredentials = true;
wc.Proxy = new WebProxy();
wc.Proxy.Credentials = CredentialCache.DefaultCredentials;
wc.Credentials = System.Net.CredentialCache.DefaultCredentials;
byte[] bt = wc.DownloadData(url);
string txt = System.Text.Encoding.GetEncoding("GB2312").GetString(bt);
switch (GetCharset(txt).ToUpper())
{
case "UTF-8":
txt = System.Text.Encoding.UTF8.GetString(bt);
break;
case "UNICODE":
txt = System.Text.Encoding.Unicode.GetString(bt);
break;
default:
break;
}
return txt;
}
catch (Exception ex)
{
return null;
}
}
}
稍微解释一下,这里使用了WebClient创建了一个wc对象(这命名有点尴尬了)。然后调用wc对象的DownloadData方法,传入URL值,返回一个字节数组。默认使用GB2312来读取这个字节数组,把它转换成字符串。从网页源代码的字符串中查找网页的编码格式的特征字符,如找到charset="utf-8"这样的信息,来判断当前网页的编码格式。
GetCharset这个函数就是来获取当前网页的编码格式的,具体代码如下:
/// 从HTML中获取获取charset
/// </summary>
/// <param name="html"></param>
/// <returns></returns>
public static string GetCharset(string html)
{
string charset = "";
Regex regCharset = new Regex(@"content=[""'].*\s*charset\b\s*=\s*""?(?<charset>[^""']*)", RegexOptions.IgnoreCase);
if (regCharset.IsMatch(html))
{
charset = regCharset.Match(html).Groups["charset"].Value;
}
if (charset.Equals(""))
{
regCharset = new Regex(@"<\s*meta\s*charset\s*=\s*[""']?(?<charset>[^""']*)", RegexOptions.IgnoreCase);
if (regCharset.IsMatch(html))
{
charset = regCharset.Match(html).Groups["charset"].Value;
}
}
return charset;
}
感觉写得不是很好,先将就着用,呵呵。小编原创,转载注明,呵呵。
您可能感兴趣的文章:
相关文章推荐
- c#中从html中使用GetElementsByTagName来获取数据的例子
- 【C#】获取网页内容及HTML解析器HtmlAgilityPack的使用
- C#获取网页源代码,去除html标签,提取文字源码
- C#获取网页HTML源码实例
- C#获取网页源码
- c# 获取网页源码
- c# 获取网页源码
- c#winform中如何获取网页中HTML的标题
- C# 抓取网页Html源码 (网络爬虫)
- c#使用Socket获取网页(含自动跳转, 解压网页)
- C#获取页面的HTML源码
- HTML to Image in C#指定网页地址,获取内容为图片
- C# 抓取网页Html源码 (网络爬虫)
- c# 获取网页源码
- .net 2008中在html源码中的《script》可以添加c#后台的源代码。下面是MSDN中的例子
- 获取某个网页中的全部url及对应的名称(使用c#实现的类)
- 收藏——在C#使用SHGetFileInfo获取(管理)文件或者文件夹图标(C#封装Win32函数的一个例子)
- C# 抓取网页Html源码 (网络爬虫)
- 自写获取网页HTML的C#函数
- CodeProject - 在C#使用SHGetFileInfo获取(管理)文件或者文件夹图标(C#封装Win32函数的一个例子)