您的位置:首页 > 编程语言 > Python开发

Python扩展方法及工具比较

2012-02-06 09:30 274 查看
http://zfqcn.blog.163.com/blog/static/2280681200711111311923/

一、普通扩展方法

扩展Python包括三个步骤:

1. 创建源程序(C, C++, java, ...);

2. 为源程序写wrap代码;

包括四个步骤:

? include "Python.h";

? 为每个模块函数写wrap,即:PyObject* Module_func();

? 为每个模块函数写函数定义,即:PyMethodDef ModuleMethods[]对应表;

? 写模块的初始化函数:void initModule()部分。

3. 编译连接;

有两种方法:

(1)使用distutils包。步骤如下:

? 修改distutils包中的setup.py文件;

? 根据需要运行$ python setup.py build或$ python setup.py install命令,生成扩展模块的共享库文件。

(2)直接使用gcc命令将模块编译成共享库。命令如下:

$ gcc -fpic -c -I/usr/include/python2.2 -I/usr/lib/python2.2/config foo.c wrap_foo.c

$ gcc -shared -o foo.so foo.o wrap_foo.o

这样便生成了python可用的foo模块。

4. 使用扩展内容

进入python环境,通过import foo,使用foo模块中的函数。如用foo.func()调用foo模块中的func()函数。

二、Python的C++扩展

通过C++扩展python也是可以的,只不过有一些限制。如果主函数(Python解释器)被C编译器编译和连接,那么构造器中不能使用全局和静态对

象。但如果使用C++编译器则没有这个问题。另外,将被Python解释器调用的函数(特别是初始化函数),需要在函数体外使用extern "C"

声明。同时要在Python头文件处使用extern "C" {...}声明。

一个示例程序(wraper文件):

extern "C"

{

#i nclude "Python.h"

}

PyObject *cppextest_print_logo(PyObject *self, PyObject *args)

{

char *string;

if (!PyArg_ParseTuple(args, "s", &string)) return NULL;

return Py_None;

}

static PyMethodDef

cppextestMethods[] = {

{"print_logo", cppextest_print_logo, METH_VARARGS},

{NULL, NULL},

};

extern "C"

void initcppextest(void)

{

Py_InitModule("cppextest", cppextestMethods);

}

三、使用工具进行扩展

虽然扩展过程并不复杂,但也可以使用许多已知的工具简化扩展过程。

(1) SWIG

由David Beazley创建,是一个自动的扩展构造工具。它读入注释的C/C++头文件,为python、tcl、perl等多种脚本语言产生wrap代码。SWIG可以包装大量C++特性到Python的扩展模块中。详情可参考http://www.swig.org。

评价:swig简单,可以支持多种脚本文件,但支持的c++特性不完备。

(2) SIP

由Phil Thompson创建,是一个C++模块构造器,专门为C++的类创造wrapper。它曾经被用于创建PyQt和PyKDE扩展模块,因此比较出名。详情可参考http://www.riverbankcomputing.co.uk/sip/。

评价:支持C++特征很齐全,但比较复杂。

(3) bgen

该工具被包含在标准Python发布包中的模块构建工具集里,由Jack Jansen维护。它用于产生在Macintosh版本可用的Python扩展模块。

(4) pyfort

由Paul dubois创建,用来产生Fortran语言生成的扩展模块。详见http://pyfortran.sourceforge.net。

(5) cxx

也由Paul Dubois创建,是一个库,为Python的C++扩展提供了友好的API。Cxx允许将许多python对象(如list和tuple)使用到STL的运算中。库也提供了C++异常处理到python异常处理的转化。详见http://cxx.sourceforge.net。

(6) WrapPy

由Greg Couch创建,通过读入C++头文件来产生扩展模块。详见http://www.cgl.ucsf.edu/home/gregc/wrappy/index.html。

(7) Boost Python Library

由David Abrahams创建。该库提供了更多与众不同的C++ wrap到python扩展中,而只需要对要扩展的C++类写很少的附加信息。详见http://www.boost.org/libs/python/doc。

评价:Boost为C++提供了许多实用的库,如Regex(正则表达式库)、Graph(图组件和算法)、concept

check(检查泛型编程中的concept)、Thread(可移植的C++多线程库)、Python(把C++类和函数映射到Python之中)、

Pool(内存池管理)等等。

Boost总体来说是实用价值很高,质量很高的库。并且强调对跨平台的支持。但是Boost中也有很多是实验性质的东西,在实际的开发中实用需要谨慎。

boost.python支持的c++特性较多,但是比较复杂。

四、扩展工具的使用

1. SWIG

SWIG可以完成多种脚本语言的C/C++扩展,包括python、tcl、perl、CHICKEN、php、XML等等许多。它通过构造接口函数和代理类来实现模拟。

1) 原理

(1) 接口函数

实现一系列接口函数来隐藏一个结构体的底层实现。例如对结构体:

struct Vector {

Vector();

~Vector();

double x,y,z;

};

将被转换为以下的函数集合:

Vector *new_Vector();

void delete_Vector(Vector *v);

double Vector_x_get(Vector *v);

double Vector_y_get(Vector *v);

double Vector_y_get(Vector *v);

void Vector_x_set(Vector *v, double x);

void Vector_y_set(Vector *v, double y);

void Vector_z_set(Vector *v, double z);

  于是,这些函数在解释器中便可以如下使用:

% set v [new_Vector]

% Vector_x_set $v 3.5

% Vector_y_get $v

% delete_Vector $v

% ...

(2) 代理类

也叫做shadow类,是真实C++类的代理。使用代理类时,实际工作的有两个对象——一个在脚本语言中,另一个是C/C++的底层对象。操作同时影响着两个对象,但用户看起来只是一个。例如,如果你有如下C++定义:

class Vector {

public:

Vector();

~Vector();

double x,y,z;

};

使用了代理类机制后,将会用很透明的方式访问结构。例如在Python中,可直接如下访问:

>>> v = Vector()

>>> v.x = 3

>>> v.y = 4

>>> v.z = -13

>>> ...

>>> del v

2)支持特性与局限

SWIG当前支持以下的C++特性:

? 类

? 类的构造和析构

? 虚函数

? 公共继承(包括多重继承)

? 静态函数

? 函数和方法重载

? 大多数标准运算符的重载

? 引用

? 模板

? 函数指针

? 名字空间

虽然SWIG能够解析大多数C/C++声明,但不能提供完备的解析机制。限制包括一些非常复杂类型的声明和C++的高级特性。下面是目前不被支持的一些特性:

? 一些非常规的类型声明。例如,SWIG不支持以下一些声明:

/* Non-conventional placement of storage specifier (extern) */

const int extern Number;

/* Extra declarator grouping */

Matrix (foo); // A global variable

/* Extra declarator grouping in parameters */

void bar(Spam (Grok)(Doh));

? 直接在C++源码运行SWIG会有一些问题。虽然SWIG能够解析C++类声明,但是当它遇到本身不支持的声明时,会自动跳过。

? 某些C++的高级特性目前不被支持。如:

? 友元

? 私有和保护成员

? 某些操作符的重载(如new、delete等)

3) 使用方法

使用SWIG工具来进行Python的C++扩展,包括以下几个步骤:

? 编写C++源代码;

? 编写后缀为.i或者.swg的脚本文件,标记头文件和要扩展的类;

? 编译连接生成共享库;

? 使用扩展。

(1) 运行SWIG

安装SWIG成功后,使用以下格式的命令运行:

$ swig [ options ] filename

选项包括:

-chicken Generate CHICKEN wrappers

-csharp Generate C# wrappers

-guile Generate Guile wrappers

-java Generate Java wrappers

-mzscheme Generate Mzscheme wrappers

-ocaml Generate Ocaml wrappers

-perl Generate Perl wrappers

-php Generate PHP wrappers

-pike Generate Pike wrappers

-python Generate Python wrappers

-ruby Generate Ruby wrappers

-sexp Generate Lisp S-Expressions wrappers

-tcl Generate Tcl wrappers

-xml Generate XML wrappers

-c++ Enable C++ parsing

-Dsymbol Define a preprocessor symbol

-Fstandard Display error/warning messages in commonly used format

-Fmicrosoft Display error/warning messages in Microsoft format

-help Display all options

-Idir Add a directory to the file include path

-lfile Include a SWIG library file.

-module name Set the name of the SWIG module

-o outfile Name of output file

-outdir dir Set language specific files output directory

-swiglib Show location of SWIG library

-version Show SWIG version number

这只是命令行选项的一个子集。对每种目标语言都有各自附加的选项。可以使用命令"swig -help or swig -lang -help"查看全部。

filename是用户编写的SWIG标记脚本文件。

(2) SWIG的输入

输入为编写的脚本文件,通常后缀为.i或.swg。

通常该脚本文件的格式如下:

%module mymodule

%{

#i nclude "myheader.h"

%}

// Now list ANSI C/C++ declarations

int foo;

int bar(int x);

...

模块名使用"%module"(或-module命令行选项)进行标记。这个标记必须在文件的开始出现,用于命名目标扩展模块。如果选择在命令行提供,则不需要"%module"标记。

在"%{ ... %}"中进行头文件和其它特殊的声明(如% rename、% ignore等)。它将被逐字的复制到SWIG创建的wrapper文件中。

(3) SWIG的输出

SWIG的输出是一系列wrapper文件,也可能根据目标文件的不同产生一些其它的文件。默认情况下,输入名为file.i的文件将输出文件

file_wrap.c或file_wrap.cxx(依赖于是否使用了-c++选项)。编译器通常是通过文件后缀来确定源语言(C、C++等)类型的。

输出文件的名字可以通过-o选项修改。例如:

$ swig -c++ -python -o example_wrap.cpp example.i

SWIG创建的wrapper文件可直接用来编译连接产生共享库,不需要再对生成文件进行编辑。

2. SIP(A Tool for Generating Python Bindings for C and C++ Libraries)

Python-SIP是一个用于为Python生成C++接口的工具。它类似于SWIG,但使用了一个不同的接口格式。它用于建造PyQt 和PyKDE,支持Qtsignal/slot机制。

SIP是一个为C/C++库自动生成Python绑定的工具。SIP最初于1998年为了PyQt(Python绑定到Qt GUI工具集)而开发的,但也适合于生成C/C++库的绑定。

SIP的命名是因为它最初是作为一个小的SWIG出现的。与SWIG不同,SIP实现是为了尽可能最小化的实现Python与C/C++的整合。

1)支持特性与局限

SIP的主要优点是绑定加载速度快,内存消耗小,尤其在只使用一个大库中的小集合时。它支持的特性主要包括:

? 提供标准Python和C/C++数据类型间的自动转换;

? 根据不同参数重载函数;

? 提供对C++类保护方法的接口;

? 可以在Python中定义C++类的子类,包括C++的抽象类;

? 支持原始的C++函数、类方法、静态类方法、虚类方法和抽象类方法;

? 可以在Python中重新实现C++虚方法和抽象方法;

? 支持全局变量和类变量;

? 支持C++的名字空间;

? 支持C++异常,并能将之转换为Python异常;

? 可以定义C++类和类似的Python数据类型之间的映射,并能自动调用;

? 可以在某特定文件中包括可提取文档;

? 可以在特定文件中包括版权信息,使其自动包含到生成的所有源代码中;

? 扩展过程与特定平台无关;

? SIP也能理解Qt实现的signal/slot类型安全回调机制。

3) 使用方法

(1) 使用步骤:

? 写.sip规范文件;

? 用命令$ sip -c . foo.sip在当前目录产生C++代码;

? 写configure.py脚本文件,用命令$ python configure.py来生成Makefile文件;

? 运行$ make;make install完成编译和安装扩展模块。

(2) 运行:

SIP命令行语法如下:

$ sip [options] [specification]

其中,specification是模块规范文件(通常后缀为sip)的文件名。若被省略则默认为stdin。

命令行选项如下:

-h

Display a help message.

-V

Display the SIP version number.

-a file

The

name of the Scintilla API file to generate. This file contains a

description of the module API in a form that the Scintilla editor

component can use for auto-completion and call tips. By default the

file is not generated.

-b file

The name of the build file to

generate. This file contains the information about the module needed by

the SIP build system to generate a platform and compiler specific

Makefile for the module. By default the file is not generated.

-c dir

The

name of the directory (which must exist) into which all of the

generated C or C++ code is placed. By default no code is generated.

-d file

The

name of the documentation file to generate. Documentation is included

in specification files using the %Doc and %ExportedDoc directives. By

default the file is not generated.

-e

Support for C++

exceptions is enabled. The causes all calls to C++ code to be enclosed

in try/catch blocks and C++ exceptions to be converted to Python

exceptions. By default exception support is disabled.

-I dir

The

directory is added to the list of directories searched when looking for

a specification file given in an %Include or %Import directive. This

option may be given any number of times.

-j number

The

generated code is split into the given number of files. This make it

easier to use the parallel build facility of most modern

implementations of make. By default 1 file is generated for each C

structure or C++ class.

-r

Debugging statements that trace

the execution of the bindings are automatically generated. By default

the statements are not generated.

-s suffix

The suffix to use for generated C or C++ source files. By default .c is used for C and .cpp for C++.

-t tag

The

SIP version tag (declared using a %Timeline directive) or the SIP

platform tag (declared using the %Platforms directive) to generate code

for. This option may be given any number of times so long as the tags

do not conflict.

-w

The display of warning messages is enabled. By default warning messages are disabled.

-x feature

The feature (declared using the %Feature directive) is disabled.

-z file

The name of a file containing more command line options.

(3) 输入:

输入为规范文件。

我们通过一个简单的规范文件示例来说明规范文件语法。假定有一个C++库实现了Word类。类有一个构造器,构造器以一个/0结束的字符串作为唯一参数。类有一个叫做reverse()的无参方法,它返回一个/0结束的字符串。

类的接口在头文件word.h中定义,如下所示:

// Define the interface to the word library.

class Word {

const char *the_word;

public:

Word(const char *w);

char *reverse() const;

};

相应的SIP规范文件如下所示:

// Define the SIP wrapper to the word library.

%Module word 0

class Word {

%TypeHeaderCode

#i nclude "word.h"

%End

public:

Word(const char *);

char *reverse() const;

};

SIP 使用指示器(Directives)来进行C++特性的映射。指示器主要包括:

%AccessCode

%CModule 实现的是C模块,并定义模块名称;

%ConvertFromTypeCode 将C/C++类型转换为Python类型;

%ConvertToSubClassCode 同上(基于RTTI);

%ConvertToTypeCode 同上;

%Copying 添加的手写代码会包含到SIP生成的代码文件头中;

%Doc 可以由命令提取出文档信息;

%End 标识包含代码或文本块结束标志;

%ExportedDoc 可被import的文档;

%Feature 与%If、% Platforms、%Timeline一起使用,控制规范文件中一些部分是否被处理;

%If

%Import 导入其它模块的规范文件;

%Include 包括其它文件;

%License 用来实现可选的执行字典,包括Licensee, Signature, Timestamp和Type注解;

%MappedType 定义自动类型转换映射表;

%MethodCode 全局函数、类方法、运算符、构造和解析等的实现代码;

%Module 实现的是C++模块,并定义模块名称;

%ModuleCode 编写能够被其它模块调用的函数代码;

%ModuleHeaderCode 被生成的所有文件包含的函数体声明;

%OptionalInclude 作用同%Include,但打开出错时继续处理;

%Platforms 配合%If,设置平台信息;

%PostInitialisationCode 编写模块调入初始化后立即执行的代码;

%PreInitialisationCode 编写模块调入初始化前执行的代码;

%Timeline 配合%If,设置版本信息;

%TypeCode 标注类或结构中的函数,使其可以被其它结构或类调用;

%TypeHeaderCode 定义结构或类中将包含的头文件,使得头文件中类型可以被使用;

%VirtualCatcherCode 虚函数实现相关的标识。

SIP使用注解(Annotations)来进行参数和函数的高级说明。包括参数注解、类注解、函数注解、enum注解、license注解和变量注解。注解有自己的类型和相应的可选值。举例如下:

在Python中,函数参数类型不匹配时能够自动调整为匹配,但在C/C++中将会出错。若在参数后添加Constrained注解将会解决这个问题。

void foo(double);

void foo(int);

================================================

void foo(double /Constrained/);

void foo(int);

(4) 输出:

一系列生成文件,供编译连接成为共享库。

3. Boost

1)简介

Boost是一套开放源代码、高度可移植的C++库,由C++标准委员会库工作组发起。主要有以下一些特点:

? 支持正则表达式和各种字符类型(如char、wchar_t及自定义字符类型);

? 支持多线程(跨平台多线程库);

? 支持数据结构"图",以及即将加入标准的hash_set、hash_map、hash_multiset、hash_multimap等,C++对数据结构的支持已近完备;

? 支持Python语言的扩展;

? 智能指针,与std::auto_ptr一起使用,可杜绝内存泄露,且高效;

? 支持循环冗余的CRC、元组tuple、可容纳不同类型值的any等;

? 还在迅速扩大中,部分内容有望进入C++标准库。

Boost.Python,一个C++库,能够在C++和Python程序之间无缝连接。而且不需要任何额外的工具——只要你的C++编译器。不必为了wrap而修改C++代码,使用简单。

当前版本已经被重写,具有更灵活方便的接口和新的功能。包括:

? 引用和指针

? Globally Registered Type Coercions

? 自动跨模块的类型转换

? 有效的函数重载

? C++到Python的异常转换

? 默认参数

? Keyword Arguments

? 在C++中使用Python对象

? Exporting C++ Iterators as Python Iterators

? Documentation String

2)使用

使用步骤包括:

? 写C++源程序;

? 写C++ wrapper;

? 使用bjam对wrapper进行build;

? 在python中使用。

3)程序举例:

(1) 简单的C++函数:

char const* greet()

{

return "hello, world";

}

可以被写成如下的Boost.Python wrapper:

#i nclude

using namespace boost::python;

BOOST_PYTHON_MODULE(hello)

{

def("greet", greet);

}

然后将它构建成共享库,便在Python中加以使用:

>>> import hello

>>> print hello.greet()

hello, world

(2) 类和结构

struct World

{

World(std::string msg): msg(msg) {} // added constructor

void set(std::string msg) { this->msg = msg; }

std::string greet() { return msg; }

std::string msg;

};

它的wrapper文件为:

#i nclude

using namespace boost::python;

BOOST_PYTHON_MODULE(hello)

{

class_("World", init())

.def("greet", &World::greet)

.def("set", &World::set)

;

}

(3) 类的继承

struct Base { virtual ~Base(); };

struct Derived : Base {};

它的wrapper文件为:

class_("Base")

/*...*/

;

class_ >("Derived")

/*...*/

;

五、总结

本文只是对几个扩展工具的简单介绍,对每种工具将在后续文章中陆续加以说明,并附以代码
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: