高性能tornado框架简单实现restful接口及运维开发实例

原文地址：http://rfyiamcool.blog.51cto.com/1030776/1298669/

Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其 非阻塞的方式和对 epoll 的运用，Tornado 每秒可以处理数以千计的连接，这意味着对于实时 Web 服务来说，Tornado 是一个理想的 Web 框架。

有个朋友让我搞搞tornado框架，说实话，这个框架我用的不多。。。请大家多关注下，我的原文博客，地址是 blog.xiaorui.cc我就把自己的一些个运维研发相关的例子，分享给大家。怎么安装tornado，我想大家都懂。再来说说他的一些个模块，官网有介绍的。我这里再啰嗦的复读机一下，里面掺夹我的理解。主要模块web - FriendFeed 使用的基础 Web 框架，包含了 Tornado 的大多数重要的功能，反正你进入就对了。escape - XHTML, JSON, URL 的编码/解码方法database - 对 MySQLdb 的简单封装，使其更容易使用，是个orm的东西。template - 基于 Python 的 web 模板系统，类似jinja2httpclient - 非阻塞式 HTTP 客户端，它被设计用来和 web 及 httpserver 协同工作，这个类似加个urllib2auth - 第三方认证的实现（包括 Google OpenID/OAuth、Facebook Platform、Yahoo BBAuth、FriendFeed OpenID/OAuth、Twitter OAuth）locale - 针对本地化和翻译的支持options - 命令行和配置文件解析工具，针对服务器环境做了优化，接受参数的底层模块httpserver - 服务于 web 模块的一个非常简单的 HTTP 服务器的实现iostream - 对非阻塞式的 socket 的简单封装，以方便常用读写操作ioloop - 核心的 I/O 循环再来说说tornado接受请求的方式：关于get的方式这样我们访问 /niubi/123123123 就会走niubi这个类，里面的get参数。关于post的方式在tornado里面，一般get和post都在一个访问路由里面的，只是按照不同method来区分相应的。扯淡的完了，大家测试下get和post。http头部和http_code状态码的处理更详细的参数再来一个例子模板：我们把后端的值传到前端，可以是列表和字典app.py里面的模板里面的下面我们再来扯扯tornado的异步。tornado是一个异步web framework，说是异步，是因为tornado server与client的网络交互是异步的，底层基于io event loop。但是如果client请求server处理的handler里面有一个阻塞的耗时操作，那么整体的server性能就会下降。源地址 http://rfyiamcool.blog.51cto.com/1030776/1298669比如： 咱们访问一个路由 www.xiaorui.cc/sleep5 ，我在sleep5后端配置了等待5秒后给return值。当我访问的话，肯定是要等5秒钟，这时候，要是有别的客户要连接的别的页面，不堵塞的页面，你猜他能马上显示吗？不能的。。。 他也是要等我访问5秒延迟过后，才能访问的。幸运的是，tornado提供了一套异步机制，方便我们实现自己的异步操作。当handler处理需要进行其余的网络操作的时候，tornado提供了一个async http client用来支持异步。上面的例子，主要有几个变化：使用asynchronous decorator，它主要设置_auto_finish为false，这样handler的get函数返回的时候tornado就不会关闭与client的连接。使用AsyncHttpClient，fetch的时候提供callback函数，这样当fetch http请求完成的时候才会去调用callback，而不会阻塞。callback调用完成之后通过finish结束与client的连接。rang让我们来看看tornado在异步方面的能力。大家看到了 http://10.2.20.111:8000/ceshi 花费了10s才有反应。。。反应慢的原因是当他在堵塞的时候：我们访问别的路由：大家看到没有，可以显示，说明是不堵塞的我们针对堵塞的接口，并发下~源地址 http://rfyiamcool.blog.51cto.com/1030776/1298669可以用gen模块来搞简单点说就是gen 给了我们用同步代码来做异步实现的可能。需要注意的是 下面这个是同步的机制要改成异步的话,http_client = httpclient.AsyncHTTPClient()demo的app代码：这是我的那个demo的简化版，大家可以扩展他的功能。需要指出的是 这些功能任何一个web框架都可以实现的。tornado最大的优点是 他的异步，所以我们要重点要看他的异步实现。简单测试下性能：服务端和客户端服务器都是dell r720客户端：tornado的设计就是为了c10k，但为为啥看不出他的牛逼之处。我想到的是没有优化内核的tcp承载，还有就是我们访问的route没有配置异步。 再次测试压力，10000个请求，在4s完成。说实话，c10k我是不敢想，毕竟是单进程，你再异步也就那回事，对我来说他的异步不堵塞就够吸引人的了。大家要是想要高性能的话，推荐用uwsgi的方式。我的临时方案是用gevent做wsgi，提升还可以。tornado的session可以轻易放到memcached里面，所以在nginx tornado框架下，会各种爽的。题目取的很牛逼，结果这博客写的不够高端，先这样吧，后期有长进了，再补充下。本文出自 “峰云，就她了。” 博客，请务必保留此出处http://rfyiamcool.blog.51cto.com/1030776/1298669