Python Paste 学习笔记
2016-03-15 00:31
821 查看
一、写在前面
这篇文章主要介绍了Python的Paste库的使用,学习过程中主要参考官网文档以及自己的理解,整理成笔记以便后续自己查阅。如果转载,请保留作者信息。
邮箱地址:jpzhang.ht@gmail.com
Python Paste:http://pythonpaste.org/
二、简介
Python Paste 通常称为Paste,是一套在Python的Web开发工具,在WSGI的基础上包装了几层,让应用管理和实现变得方便,Paste已被描述为“a framework for web frameworks”。Python Paste 中包含的Python模块有助于实现WSGI中间件,包括一个CGI应用程序框架,还包括一个简单的Web服务器可以产生WSGI请求。
Paste是一个长期运行的开源项目,可追溯到至少2005年,由于它的发展,它已经从Paste核心代码分离了几个模块,这些模块是Paste项目的一部分,但形成自己的包,有自己的版本号。 他们包括:
Webob:WSGI中对请求环境变量request environment进行包装。
Paste Deploy:通过一个配置文件完成WSGI应用和服务器的构建。
Paste Script, WebTest, ScriptType, INITools, Tempita, WaitForIt, WPHP, WSGIFilter, 和WSGIProxy等一些包。
本文主要介绍Paste Deploy库的实用。
三、Paste Deploy
文件:
paste.deploy.loadwsgi — — 从配置文件加载 WSGI 应用程序paste.deploy.config — — 配置和环境的中间件
paste.deploy.converters — — 用于字符串配置的转换
介绍:
Paste Deployment通过一个配置文件完成WSGI应用和服务器的构建。对于WSGI application用户提供一个单独的简单的函数(loadapp),用于从配置文件或者python egg中加载WSGI application。Paste Deployment目前已经不需要Paste项目的其他部分支持,可以单独做一个package进行使用。Paste Deployment用于加载WSGI的应用,大多数的Python框架都支持WSGI。主要的函数是paste.deploy.loadapp,基本使用方法如下:from paste.deploy import loadapp wsgi_app = loadapp('config:/path/to/config.ini')
安装:
sudo pip install PasteDeploy
配置文件:
一个配置文件后缀为ini,内容被分为很多段(section),Paste Deploy只关心带有前缀的段,比如[app:main]或者[filter:errors],总的来说,一个section的标识就是[type:name],不是这种类型的section将会被忽略。一个section的内容是以键=值来标示的。#是一个注释。在段的定义中,有以下几类:[app:main]:定义WSGI应用,main表示只有一个应用,有多个应用的话main改为应用名字,具体调用那个python module中的app则由use来指定,use有很多类型,大概看看就知道每种的含义了。
config: another_config_file.ini#app_name表示从另外一个config.ini文件中找app。
egg: MyApp是从python egg包中找。
call: my.project:myapplication是直接调用某个模块中的myapplication。
use = myotherapp则是在其它section找app。
[server:main]:定义WSGI的一个server。
[composite:xxx]:表示需要将一个请求调度定向(dispatched)到多个,或者多种应用上,这个类型的section会的把具体的URL请求分配到VALUE对应的section中的APP上去。use表明具体
的分配方法,换句话说这里的KEY = VALUE是egg:Paste#urlmap,urlmap 表示我们将使用Pasteegg包中
urlmap来实现composite,
[fliter-app:]: filter-app就是一个过滤,也就是说一个请求过来后,会先走filter-app中的use指定的app,如果那个app过滤了这个request,那么这个request就不会发送到next指定的app中去进行下一步处理了。如果没有过滤,则会发送给next指定的app。这个filter-app虽然有过滤的名字,但其实也不一定要做过滤这档子事情,可以用来记录些日志啥的,比如每次来个请求就log些东西,然后再转给后面的app去处理。fiter-app必须要有next,这个和filter不一样。
[fliter:]:和filter-app差不多,但是没有next。
[DEFAULT]:定义一些默认变量的值。
[pipeline]:pipeline就是简化了filter-app,不然你想,如果我有十个filter,那不是要写十个filter-app,通过pipeline,我就可以把这些filter都连起来写在一行,很方便。但要注意的是这些filter需要有一个app作为结尾。
以下是典型的配置文件:
[composite:main] use = egg:Paste#urlmap / = home /blog = blog /wiki = wiki /cms = config:cms.ini [app:home] use = egg:Paste#static document_root = %(here)s/htdocs [filter-app:blog] use = egg:Authentication#auth next = blogapp roles = admin htpasswd = /home/me/users.htpasswd [app:blogapp] use = egg:BlogApp database = sqlite:/home/me/blog.db [app:wiki] use = call:mywiki.main:application database = sqlite:/home/me/wiki.db
配置文件分为多个section,每个section的名字的格式是TYPE:NAME,每个section中参数的格式一般是KEY = VALUE。
解释每个部分:
[composite:main] use = egg:Paste#urlmap / = home /blog = blog /wiki = wiki /cms = config:cms.ini
这是一个composite段,表示这将会根据一些条件将web请求调度到不同的应用。use = egg:Paste#urlmap表示我们将使用Paste egg包中urlmap来实现composite,这一个段(urlmap)可以算是一个通用的composite程序了。根据web请求的path的前缀进行一个到应用的映射(map)。这些被映射的程序就包括blog,home,wiki,config:cms.ini(映射到了另外一个配置文件,Paste Deploy再根据这个文件进行载入)
[app:home] use = egg:Paste#static document_root = %(here)s/htdocs
app是一个callable object,接受的参数(environ,start_response),这是paste系统交给application的,符合WSGI规范的参数. app需要完成的任务是响应envrion中的请求,准备好响应头和消息体,然后交给start_response处理,并返回响应消息体。egg:Paste#static也是Paste包中的一个简单程序,它只处理静态文件。它需要一个配置文件document_root,后面的值可以是一个变量,形式为%(var)s相应的值应该在[DEFAULT]字段指明以便Paste读取。
[filter-app:blog] use = egg:Authentication#auth next = blogapp roles = admin htpasswd = /home/me/users.htpasswd [app:blogapp] use = egg:BlogApp database = sqlite:/home/me/blog.db
filter是一个callable object,其唯一参数是(app),这是WSGI的application对象,filter需要完成的工作是将application包装成另一个application(“过滤”),并返回这个包装后的application。
[filter-app:blog]fliter-app字段表明你希望对某个应用进行包装,需要包装的应用通过next指明(表明在下一个段中),这个字段的意思就是,在正式调用blogapp之前,我会调用egg:Authentication#auth进行一个用户的验证,随后才会调用blogapp进行处理。后面的[app:blogapp]则是定义了blogapp,并指明了需要的database参数。
[app:wiki] use = call:mywiki.main:application database = sqlite:/home/me/wiki.db
这个段和之前的app段定义类似,不同的是对于wiki这个应用,我们没有使用egg包,而是直接对mywiki.main这个模块中的application对象使用了call方法。python,中一切皆对象,作为WSGI app的可以是一个函数,一个类,或者一个实例,使用call的话,相应的函数,类,实例中必须实现call()方法。此类app的格式用冒号分割: call(表示使用call方法):模块的完成路径名字:应用变量的完整名字
基本使用:
from paste.deploy import loadapp wsgi_app = loadapp('config:/path/to/config.ini')
目前支持两种URI模式config:和egg:
Uri:
(1)、 config:URIs
config:URIs——URI表示配置文件,此处的配置文件是用于指示,所需要加载的application是哪些的位置注意:
文件名是永远不会视为相对于当前的工作目录,这是一个不可预知的位置。通常,当一个 URI 具有上下文那么它将看作相对位置;例如,如果你的config:里面有另一个配置文件的 URI,该路径是相对于包含配置文件的目录。
配置文件:
配置文件是在 INI 格式。这是一个简单的格式,看起来像:
[section_name] key = value another key = a long value that extends over multiple lines
所有值都均为字符串 (不加引号是必要的)。key和section name区分大小写,并且可能包含标点符号和空格,但是头部和尾部的空白部分将会去掉。如果出现需要断行的情况,只需要在下一行开始时是空白符即可
以# (首选) 或;开头的行被视为注释。
应用程序:
在一个文件中可以定义多个application,每个application都应该有自己独立的section,即使仅有一个application存在,也需要写入到section中。每个定义一个application的section都应该以app:前缀开头。main section进入[app:main]或[app]指定运行application的Python code方式有两种:
第一是指另一个 URI 或名称:
[app:myapp] #调用其他的配置文件(可能定义了多个应用程序),并需要执行的应用程序的名称 use = config:another_config_file.ini#app_name # or any URI: [app:myotherapp] use = egg:MyApp # or a callable from a module: [app:mythirdapp] use = call:my.project:myapplication # or even another section: [app:mylastapp] use = myotherapp
config:another_config_file.ini#app_name表示从另外一个config.ini文件中找app。
egg:MyApp是从python egg包中找。
call:my.project:myapplication是直接调用某个模块中的myapplication。
use = myotherapp则是在其它section找app。
配置:
配置了use字段或者通过协议名称(上面提到的两种方法),就完成了配置文件最基本的配置,section中其他的key都会作为关键字参数传递给factory。下面看一个例子:
[app:blog] use = egg:MyBlog database = mysql://localhost/blogdb blogname = This Is My Blog!
定义了一个application,名字为blog,运行的程序是MyBlog(他是一个egg),需要传递给MyBlog的参数是database和blogname。
重写section去覆盖上面的配置:
[app:otherblog] use = blog blogname = The other face of my blog
use = blog”表明使用的应用程序是section blog;但是传递的参数是:blogname = The other face of my blog,覆盖掉了section blog的对应的配置信息。这种设置方式也可以定义在普通的配置文件中,即使用use = config:other_config_file 这种方式进行。
全局配置:
当多个application需要共享相同的配置时,我们可以采用上述的方法,使用其他的section,如果想要不同的value值,则重新定义覆盖掉它。但是这种方法,不能够添加其他的配置参数,即只能覆盖掉use的section中已经定义的部分。
全局配置,适用于在一个文件中定义的每个应用程序相同的配置,可以使用[DEFUALT]方法定义全局的配置信息,[DEFUALT]的配置信息将会全部传入到所有的Application中,通常情况下,也可作为application的默认设置。application可以自主定义覆盖全局的默认值免去对所有application配置全局共享信息的麻烦可以使用[DEUALT]section,注意DEFUALT是大小写敏感的。
[DEFAULT] admin_email = webmaster@example.com [app:main] use = ... set admin_email = bob@example.com
set关键字使用,将会覆盖掉global的对应的配置。
(2)、 定义application需要运行的Python code
[app:myapp] paste.app_factory = myapp.modulename:app_factory
这种方式必须明确指定使用的protocol(此例中是paste.app_factory),value值表示需要import的内容。此例中是import myapp.modulename,然后检测app_factory执行。
application的其他类型:composition application
composition application:类似与application,但是他是由多个application组成的,一个简单的例子就是URL mapper,例如:
[composite:main] use = egg:Paste#urlmap / = mainapp /files = staticapp [app:mainapp] use = egg:MyApp [app:staticapp] use = egg:Paste#static document_root = /path/to/docroot
使用loadapp加载composition application, “main” 看起来就是和其他应用程序相同的,仅是一个application,但是根据配置文件的设置,“main”是可以访问其他的application的。
filter composition
有几种方法来将filter应用于application。它主要取决于多少个filter,和您要以何种顺序应用它们。第一种方法是使用filter的设置,如:
[app:main] use = egg:MyEgg filter-with = printdebug [filter:printdebug] use = egg:Paste#printdebug # and you could have another filter-with here, and so on...
另一种方法:filter-app pipeline 除外,还有两个特殊的section可以添加filter到application中去:[filter-app:…] [pipeline:…]
filter-app:定义一个filter,并且使用一个特殊的关键字next指向application,将application添加到filter中(这与[filter:…]很类似)
pipeline:当需要定义一系列的fiter时应用。在configuration中添加关键字pipeline,pipeline是一个filters的链表,以一个application结束,例如:
[pipeline:main] pipeline = filter1 egg:FilterEgg#filter2 filter3 app [filter:filter1] ...
Defining Factories
这允许您指向工厂 (即服从我们提到的特定协议)。但这不是多大用处,除非你可以为您的应用程序创建的工厂。还有几个协议: paste.app_factory、paste.composite_factory、 paste.filter_factory,和paste.server_factory。每个预期可调用 (如函数、 方法或类)。
paste.app_factory
应用程序是最常见的。你定义一个像:
def app_factory(global_config, **local_conf): return wsgi_app
该global_config是一个字典,和本地的配置作为关键字参数传递。
paste.composite_factory
composite稍微复杂一些:
def composite_factory(loader, global_config,**local_conf): return wsgi_app
loader参数是一个对象,有几个有趣的方法。 get_app (name_or_uri, global_conf = None)返回具有给定名称的 WSGI 应用。 get_filter和get_server的工作方式相同。
更有趣的例子可能是做了一个composite factory。例如,考虑一个”pipeline”应用程序:
def pipeline_factory(loader, global_config, pipeline): # space-separated list of filter and app names: pipeline = pipeline.split() filters = [loader.get_filter(n) for n in pipeline[:-1]] app = loader.get_app(pipeline[-1]) filters.reverse() # apply in reverse order! for filter in filters: app = filter(app) return app
然后我们用它:
[composite:main] use = <pipeline_factory_uri> pipeline = egg:Paste#printdebug session myapp [filter:session] use = egg:Paste#session store = memory [app:myapp] use = egg:MyApp
paste.filter_factory
filter工厂,像 app 工厂,除了他们返回filter。filter是 callables,采取 WSGI 应用作为唯一的参数,并返回该应用程序的”filter”版本。
下面是一个filter,检查设置REMOTE_USER CGI 变量,创建真正简单身份验证filter示例:
def auth_filter_factory(global_conf, req_usernames): # space-separated list of usernames: req_usernames = req_usernames.split() def filter(app): return AuthFilter(app, req_usernames) return filter class AuthFilter(object): def __init__(self, app, req_usernames): self.app = app self.req_usernames = req_usernames def __call__(self, environ, start_response): if environ.get('REMOTE_USER') in self.req_usernames: return self.app(environ, start_response) start_response( '403 Forbidden', [('Content-type', 'text/html')]) return ['You are forbidden to view this resource']
paste.filter_app_factory
这非常类似于paste.filter_factory,只是它也采用wsgi_app作为参数,并返回一个 WSGI 应用程序。所以,如果你改变了对上面的例子:
class AuthFilter(object): def __init__(self, app, global_conf, req_usernames): ....
然后AuthFilter将作为 filter_app_factory (req_usernames是所需的本地配置的关键在这种情况下)。
paste.server_factory
这需要相同的签名应用程序和过滤器,但返回服务器。服务器是可调用采用一个 WSGI 应用程序的单个参数。例如:
def server_factory(global_conf, host, port): port = int(port) def serve(app): s = Server(app, host=host, port=port) s.serve_forever() return serve
paste.server_runner
像paste.server_factory,除了作为第一个参数传递wsgi_app和服务器应该立即运行。
四、例子:
配置文件案例:[composite:blog] use=egg:Paste # urlmap 表示我们将使用Pasteegg包中urlmap来实现composite,这一个段(urlmap)可以算是一个通用的composite程序了。 /:portal # 根据web请求的path的前缀进行一个到应用的映射(map) /admin:admin [pipeline:admin] # 指明一串app的传递链,由一些filter、app组成,最后一个是应用,即将前面的fiiter应用到app。 pipeline = logrequest adminWeb # App # - app是一个callable object,接受的参数(environ,start_response),这是paste系统交给application的,符合 # WSGI规范的参数. app需要完成的任务是响应envrion中的请求,准备好响应头和消息体,然后交给start_response处理,并返回响应消息体。 [app:portal] version = 1.0.0 #参数 description = This is an blog portal. #参数 paste.app_factory = pastedeploylab:Portal.factory [app:adminWeb] version = 1.0.0 # 参数 description = This is an blog admin. #参数 paste.app_factory = pastedeploylab:AdminWeb.factory # - app_factory是一个callable object,其接受的参数是一些关于application的配置信息:(global_conf,**kwargs), # global_conf是在ini文件中default section中定义的一系列key-value对,而**kwargs,即一些本地配置,是在ini文件中, # app:xxx section中定义的一系列key-value对。app_factory返回值是一个application对象 # Filter # - filter是一个callable object,其唯一参数是(app),这是WSGI的application对象, # filter需要完成的工作是将application包装成另一个application(“过滤”),并返回这个包装后的application。 [filter:logrequest] paste.filter_factory = pastedeploylab:LogFilter.factory # - filter_factory是一个callable object,其接受的参数是一系列关于filter的配置信息:(global_conf,**kwargs), # global_conf是在ini文件中default section中定义的一系列key-value对,而**kwargs,即一些本地配置,是在ini文件中, # filter:xxx section中定义的一系列key-value对。filter_factory返回一个filter对象
import os from paste.deploy import loadapp from wsgiref.simple_server import make_server class Portal(): def __init__(self): pass def __call__(self,environ,start_response): start_response("200 OK",[("Content-type", "text/plain")]) return ["Paste Deploy Blog Protal: Version = 1.0.0",] @classmethod def factory(cls,global_conf,**kwargs): print "in Protal.factory", global_conf, kwargs return Portal() class AdminWeb(): def __init__(self): pass def __call__(self,environ,start_response): start_response("200 OK",[("Content-type", "text/plain")]) return ["Paste Deploy Blog Admin: Version = 1.0.0",] @classmethod def factory(cls,global_conf,**kwargs): # kwargs .ini 传递过来的参数 print "in Admin.factory", global_conf, kwargs return AdminWeb() #Filter class LogFilter(): def __init__(self,app): self.app = app pass def __call__(self,environ,start_response): print "filter:LogFilter is called." return self.app(environ,start_response) @classmethod def factory(cls, global_conf, **kwargs): print "in LogFilter.factory", global_conf, kwargs return LogFilter if __name__ == '__main__': configfile="pastedeploylab.ini" appname="blog" wsgi_app = loadapp("config:%s" % os.path.abspath(configfile), appname) server = make_server('0.0.0.0',8001,wsgi_app) server.serve_forever() pass
相关文章推荐
- Python3.4下安装pip和MySQLdb
- python去掉字符串中的空白字符
- Python函数中的函数(闭包)用法实例
- Python的净值数据接口调用示例分享
- Python作用域用法实例详解
- Python减少循环层次和缩进的技巧分析
- Python3使用requests包抓取并保存网页源码的方法
- Python 的内置字符串方法小结
- 学习python类方法与对象方法
- Python 学习笔记
- python正则表达式
- Python学习第十天
- Python TIPS
- python glob
- Python 高级编程笔记之低于类别
- Python 第五天 递归,计算器(2)
- python多继承(新式类)一
- python编写服务器例子
- numpy中的tile函数
- Python基础--字典:当索引不好用时