鲲鹏数据开源库python_google_translator介绍

原文作者：西安鲲之鹏
原文链接：http://www.site-digger.com/html/articles/20130812/68.html
关于KPBroswer：

KPBroswer是一个基于QtWebKit的最小化浏览器程序，通过被第三方程序调用，

能实现对复杂页面加载后数据（例如，复杂Ajax、数据加密）的抓取，支持屏幕截图。

KP是“鲲鹏”二字的拼音首字母。

项目主页：

https://bitbucket.org/qi/kpbroswer/

适用场景：

页面数据动态加载（例如，Ajax过程过于复杂，分析成本太高）；

数据加密（客户端JS解密，解密算法难以获取或难以用其它语言实现）；

屏幕截图；

跨平台的抓取方案；

依赖库：

PyQt4

Ubuntu下安装方法：sudo apt-get install python-qt4

Windows下安装方法：在这里下载二进制安装包直接安装http://www.riverbankcomputing.co.uk/software/pyqt/download/

调用方法：

若在Linux终端下运行，需要安装Xvfb。Ubuntu下安装方法：apt-get install xvfb xfonts-base xfonts-75dpi xfonts-100dpi xfonts-wqy

调用举例（Linux）：xvfb-run python KPBroswer.py http://www.site-digger.com --flags=redice --output="page.html" --screenshot="sitedigger.jpg"

调用举例（Windows）：python KPBroswer.py http://www.site-digger.com --flags=redice --output="page.html" --screenshot="sitedigger.jpg"

Usage: KPBroswer.py <URL> [options]

Options:

-h, --help show this help message and exit

-p PROXY, --proxy=PROXY

Proxy to use.

-t TIMEOUT, --timeout=TIMEOUT

The timeout time of loading page.

-f FLAGS, --flags=FLAGS

Flags need to wait for. Semicolon can be used as a

eperator.

-w WAIT_TIMEOUT, --wait_timeout=WAIT_TIMEOUT

The timeout time of waitting for flags.

-g, --gui Whether to show the broswer GUI.

-o OUTPUT, --output=OUTPUT

The output filename.

-s SCREENSHOT, --screenshot=SCREENSHOT

If the value is not empty, take a screenshot and save

it here.

注意：

Linux下不要忘记安装相关字体库，否则截图中的汉字将会是乱码，如下图site-digger-font-problem.jpg所示。

安装后，就正常了，如图site-digger.jpg所示。

示例：

sample.py文件为一个Python以外部程序方式调用KPBroswer.py的示例，其它语言的调用可以参考其实现。

特别说明：该文章为西安鲲之鹏的原创文章 ，你除了可以发表评论外，还可以转载到你的网站或博客，但是请保留源地址，谢谢!!（尊重他人劳动，你我共同努力）