面试官让我上机写一个爬虫，没有经验，写的也没什么价值，就是想记录一下

1.用WebRequest相关API抓取数据的时候会返回403服务器拒绝的问题。

经网上寻找解决方案，是用指定UserAgent参数伪装浏览器，并成功解决问题。

2.大众点评网上要抓取的数据是动态生成。抓取的Html内容中不包含想要获取的内容。

后来找到一个网友提供的思路: 用WinForm里的webBrowser控件，可以把网页内容全部 加载完后，再通过Document获取。并最终使用这种方式实现。

using System;
using System.Text;
using System.Windows.Forms;

namespace WindowsFormsApplication3
{
public partial class Form1 : Form
{
public Form1()
{
InitializeComponent();
string url = "http://www.dianping.com/search/category/2/10/g110";
webBrowser1.Navigate(url);
}

/// <summary>
/// 点击获取信息
/// </summary>
/// <param name="sender"></param>
/// <param name="e"></param>
private void btnGetInfo_Click(object sender, EventArgs e)
{
StringBuilder result = new StringBuilder();
HtmlElementCollection lis = webBrowser1.Document.GetElementsByTagName("li");

foreach (HtmlElement element in lis)
{
//最开始的三个 店铺信息 li class="top"
if (element.OuterHtml.Contains("li class=\"top\"")|| element.OuterHtml.Contains("li data-midas="))
AppendResultInfo(result, element.InnerHtml);
}

this.textConent.Text = result.ToString();

}

/// <summary>
/// 添加符合的信息到结果中
/// </summary>
/// <param name="result">结果数据</param>
/// <param name="InnerHtml">html内容</param>
private void AppendResultInfo(StringBuilder result, string InnerHtml)
{
result.Append("店名：").Append(GetMidStr(InnerHtml.Replace("a title=\"\"", ""), "<a title=\"", "\"")).Append("\n");
result.Append("地址：").Append(GetMidStr(InnerHtml, "<span class=\"addr\">", "</span>")).Append("\n\n");
}

/// <summary>
/// 获取中间的字符串
/// </summary>
/// <param name="inStr">源字符串</param>
/// <param name="startString">开始字符串</param>
/// <param name="endString">结束字符串</param>
/// <returns></returns>
private static string GetMidStr(string inStr, string startString, string endString)
{
int iBodyStart = inStr.IndexOf(startString, 0);               //开始位置
if (iBodyStart == -1)
return null;
iBodyStart += startString.Length;                            //要查找的字符串起始位置
int iBodyEnd = inStr.IndexOf(endString, iBodyStart+1);
if (iBodyEnd == -1)
return null;
iBodyEnd += endString.Length;                                //要查找的字符串结束位置
string strResult = inStr.Substring(iBodyStart, iBodyEnd - iBodyStart - endString.Length);
return strResult;
}

}
}