Powershell 通过BING 搜索
豆子喜欢看小说 但是很多小说网页的爬虫很不给力,更新不及时。本来想看看Powershell有没有类似Python scarpy的能力,结果很失望,不过意外的发现很多搜索引擎都提供了API 可以通过PowerShell直接调用。
下面以微软的BING为例。
首先需要在azure的datamarket申请一个账号
https://datamarket.azure.com/dataset/bing/search#terms
用windows live账号登录,然后选择第一个就行了,这个每个月可以免费查询5000次,做个测试够用了。
切换到My Account ->My Data,这里可以直接使用一个在线版的API
比如说,我可以搜索不同的内容,网页,图像,视频,新闻等等~
注意有个Primary Account Key, 这个就是我的主账号,调用API的时候需要通过这个ID来验证的
下面看看怎么在PowerShell里面调用。
我在网上搜索了一些,大部分是旧版的语法和例子,具体的语法也语焉不详 要不然就是一个链接直接执行MSDN,这个对于非专业的码农来说很难找到合适的例子,幸好找到一篇参考文章
http://www.powershelladmin.com/wiki/Accessing_the_Bing_Search_API_v2_using_PowerShell
首先根据主账号生成对应的access token, 大概可以参考这个链接
https://msdn.microsoft.com/en-AU/library/azure/dn798668.aspx#ManuallyCreateToken
然后比着上面那个GUI的自动生成的query格式写个function转换成需要的语法结构,因为他的返回值可以是xml或者json,因此直接用invoke-restmethod 调用就行了$Key = '2rNmeyElCeWRJ1DLvRl5ReJ0l85R/klsdjlskfs' #这个ID我改了一下,不是真的 $Base64KeyBytes = [byte[]] [Text.Encoding]::ASCII.GetBytes("ignored:$Key") $Base64Key = [Convert]::ToBase64String($Base64KeyBytes) function Get-BingQuery { param([string[]] $Query) Add-Type -Assembly System.Web $Query = '%27' + (($Query | %{ [Web.HttpUtility]::UrlEncode($_) }) -join '+') + '%27' # Return the proper string. $Query } $QueryString = Get-BingQuery 'music' $Uri = 'https://api.datamarket.azure.com/Bing/Search/Web?$format=json&$top=5&Query=' + $QueryString $Results = Invoke-RestMethod -Uri $Uri -Headers @{ Authorization = "Basic $Base64Key" } $Results.d.results | Select Title, Description, DisplayUrl, Url | fl结果如下:
成功
阅读更多- C++通过gSOAP使用Bing API进行搜索
- 通过Bing 制作博客园搜索连接器(Windows 7 Federated Search)
- 通过Bing 制作博客园搜索连接器(Windows 7 Federated Search)
- 在ASP.NET Web Application中通过SOAP协议调用Bing搜索服务
- 在ASP.NET Web Application中通过SOAP协议调用Bing搜索服务
- Html5通过js进行页面内搜索
- 通过谷歌访问助手进行谷歌搜索
- OS X系统下通过终端命令搜索文件的各种方法
- 微软新搜索Bing遭质疑,可播色情视频
- cacti监控机硬盘满了,于是mysql的表损坏了,通过查看cacti日志的报错信息,搜索到解决办法
- 程序员欢呼:微软Bing开始支持搜索源码、可直接运行
- 通过 Powershell 来替换 ARM 模式下虚拟机的网络接口
- PHP通过访客来路获取搜索关键词的方法
- 刚刚发布的Bing国际版把百度搜索抛到后面,都来感受一下
- 【Silverlight】Bing Maps学习系列(二):通过Bing Maps Silverlight Control如何显示地
- 通过PowerShell操作SQLConnection .NET类
- PowerShell通过安全组创建计算机账号
- El capitan中Spotlight没有显示新特性(spotlight suggestion)的解决方法(天气,bing网页搜索结果,网络视频等)
- 很多人在Google Play商店购买或下载APP时出现问题,例如在你新安装的系统恢复APP或想要安装心愿单中的APP时,Play商店出现不能加载等错误,这实在是太烦人了。 所以,我通过搜索,把可
- 搜索引擎的相关搜索(基于struts2框架通过关键字与后台的xml资源进行匹配实现)