Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的
2014-05-14 00:00
555 查看
Asp 使用 Microsoft.XMLHTTP 抓取网页内容(没用乱码),并过滤需要的内容
示例源码:
效果图如下:
示例源码:
<% Dim xmlUrl,http,strHTML,strBody xmlUrl = Request.QueryString("u") REM 异步读取XML源 Set http = server.CreateObject("Microsoft.XMLHTTP") http.Open "POST",xmlUrl,false http.setrequestheader "User-Agent", "Mozilla/4.0" http.setrequestheader "Connection", "Keep-Alive" http.setRequestHeader "Content-Type", "application/x-www-form-urlencoded" http.Send() strHTML = BytesToBstr(http.ResponseBody) set http = nothing REM 抓取主要内容 strBody = GetBody(strHTML,"<div id=""Div_newsContentc"" class=""cnt"">","</div>",0,0) strBody =Replace(strBody,"(本文首发于","") strBody =Replace(strBody,"财富动力网</a>,转载请注明出处。)","") strBody =Replace(strBody,"本文首发于,转载请注明出处。)","") strBody =Replace(strBody,"财富动力网</a>:http://www.927953.com","") strBody =Replace(strBody,"本文首发于","") Response.Write RegRemoveHref(strBody) REM 获取对应网址响应的HTML Function BytesToBstr(body) dim objstream set objstream = Server.CreateObject("adodb.stream") objstream.Type = 1 objstream.Mode =3 objstream.Open objstream.Write body objstream.Position = 0 objstream.Type = 2 objstream.Charset = "UTF-8" '转换原来默认的UTF-8编码转换成GB2312编码,否则直接用 'XMLHTTP调用有中文字符的网页得到的将是乱码 BytesToBstr = objstream.ReadText objstream.Close set objstream = nothing End Function REM 使用正则表达式,抓取之内标记的内容 Function GetBody(ConStr,StartStr,OverStr,IncluL,IncluR) If ConStr="$False$" or ConStr="" or IsNull(ConStr)=True Or StartStr="" or IsNull(StartStr)=True Or OverStr="" or IsNull(OverStr)=True Then GetBody="$False$" Exit Function End If Dim ConStrTemp Dim Start,Over ConStrTemp=Lcase(ConStr) StartStr=Lcase(StartStr) OverStr=Lcase(OverStr) Start = InStrB(1, ConStrTemp, StartStr, vbBinaryCompare) If Start<=0 then GetBody="$False$" Exit Function Else If IncluL=False Then Start=Start+LenB(StartStr) End If End If Over=InStrB(Start,ConStrTemp,OverStr,vbBinaryCompare) If Over<=0 Or Over<=Start then GetBody="$False$" Exit Function Else If IncluR=True Then Over=Over+LenB(OverStr) End If End If GetBody=MidB(ConStr,Start,Over-Start) End Function REM 过滤a超链接 Function RegRemoveHref(HTMLstr) Set ra = New RegExp ra.IgnoreCase = True ra.Global = True ra.Pattern = "<a[^>]+>(.+?)<\/a>" RegRemoveHref = Replace(ra.replace(HTMLstr,"$1"),"href=""http://www.927953.com""","") END Function %>
效果图如下:
相关文章推荐
- Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的
- Asp 使用 Microsoft.XMLHTTP 抓取网页内容无乱码处理,并过滤需要的内容
- Asp 使用 Microsoft.XMLHTTP 抓取网页内容无乱码处理,并过滤须要的内容
- asp中创建Microsoft.xmlhttp对象从服务器无法获取自己本地IIS运行出来的网页内容
- ASP.NET MVC中使用AJAX(XMLHttpRequest、Microsoft AJAX Library......)
- xmlhttp 抓取网页内容1
- ASP.NET MVC中使用AJAX(XMLHttpRequest、Microsoft AJAX Library......)
- JSP学习笔记(七十五):使用HttpClient远程抓取网页内容
- HttpUnit 使用示例 抓取网页内容
- JSP学习笔记(七十五):使用HttpClient远程抓取网页内容
- ASP.NET MVC中使用AJAX(XMLHttpRequest、Microsoft AJAX Library......)
- C#如何使用HttpWebRequest、HttpWebResponse模拟浏览器抓取网页内容
- C# asp.net 抓取需要登录的网页内容 抓取asp.net登录验证的网站
- ASP采集页面内容组件Microsoft.XMLHTTP
- ASP.NET MVC中使用AJAX(XMLHttpRequest、Microsoft AJAX Library......) 推荐
- ASP.NET MVC中使用AJAX(XMLHttpRequest、Microsoft AJAX Library......)
- C#用HttpWebRequest通过代理服务器验证后抓取网页内容 。。。。。
- 步步为营:Asp.Net使用HttpWebRequest通知,抓取,采集(转)
- Microsoft.XMLHttp 的属性和方法使用
- 使用Jsoup登录网站抓取网页内容