python对象序列化或持久化的方法《原创》

随着项目的进展，使用的模块越来越多起来，今天就涉及到python对象持久化的问题了。我现在的需求是既要把数据保存到数据库中，又想保存一份序列化以备以后方便调用，提高效率。之前在用MFC做项目的时候，知道微软VC++在这方面提供了强大的功能。我想，python发展了这么多年了，这方面的能力一定还是有的，因此，经过一番学习，大致弄明白是怎么回事了，不保证正确，如果发现说得不对，希望可以指出来。因此就记录下我今天学到的python序列化的相关知识。

一、Python对象持久化方法

目前为止，据我所知，在python中对象持久化有以下几种方法：

1. 使用(dbhash/bsddb, dbm, gdbm, dumbdbm 等）以及它们的"管理器"( anydbm )。只提供了 Python 字
符串的永久性储存. 提供一个类似字典和文件的对象，可以完成字符串的永久性存储。

2. 使用marshal和pickle来序列化python对象，并具备存储到介质上的功能。两者的区别在于：marshal只能处理简单的Python对象，包括数字、序列、映射、以及代码对象；而pickle还可以处理递归对象，被不同地方多次引用的对象，以及用户定义的类和实例。其中，pickle有一个C语言实现的版本——cPickle，具有更高的效率，建议使用cPickle。

3. 虽然pickle提供非常强大的功能了，已经可以满足我们大部分的需求了，但是，人类的需求是无止境的，光序列化不行啊，只用 pickle 不能解决命名和查找 pickle 文件这样的问题，要是可以对序列化的对象提供管理功能，支持并发访问就好了。因此，人们发明了shelve模块，它是前两者的综合。shelve模块使用anydbm模块寻找合适的DBM模块，然后使用cPickle来完成对象存储转换过程。shelve模块允许对数据库文件进行并发的读访问，但不允许共享读/写访问。

4. 还有一种方案，是在IBM的网站上看到的。那就是ZODB了。ZODB比简单的 pickle 文件更健壮以及更具有可伸缩性。ZODB是一个针对Python的Z对象数据库，是一个健壮的、多用户的和面向对象的数据库系统，它能够存储和管理任意复杂的 Python 对象，并支持事务操作和并发控制。其实，ZODB也依靠Python 的本机序列化能力，而且要有效地使用 ZODB，必须充分了解 pickle。

5. 最后一只知道的解决持久性问题的方法是 Prevayler，PyPerSyst 将整个对象系统保存在内存中，并通过不时地将系统快照 pickle 到磁盘以及维护一个命令日志（通过此日志可以重新应用最新的快照）来提供灾难恢复。所以，尽管使用 PyPerSyst 的应用程序受到可用内存的限制，但好处是本机对象系统可以完全装入到内存中，因而速度极快，而且实现起来要比如 ZODB 这样的数据库简单，ZODB 允许对象的数目比同时在能内存中所保持的对象要多。

背景知识：它最初是用 Java 实现的。后来，一群 Python 程序员将 Prevayler 移植到了 Python 上，另起名为 PyPerSyst，由 SourceForge 托管。Prevayler/PyPerSyst 概念也是建立在 Java 和 Python 语言的本机序列化能力之上。

6. 我今天又发现了一个模块Durus，非常好的模块，支持多线程并发操作，支持回滚操作。不过安装的时候没装上，好像是缺少vc里面文件似的，不管了。

二、我该如何选择

上面5种方案是我在综合相关资料汇总的，那么现在轮到如何选择。我选择的一个原则：“懒”，怎么讲，就是尽量在完成任务的情况下，降低复杂度和将来的兼容性。第五种方案对我不太适用，全部load到内存基本不可能，所以我先暂时选第四种方案吧，方便读取，使用对象数据库对于我的项目应该是有好处的。

参考性的意见，我认为得看自己定了，如果想简单，用pickle就能解决问题。我也想用pickle的，可是一大堆对象，还需要检索方便，当然选择第四种方案。其实第三种方案也适合我的，如果时间充裕的话，我还想第四种方案和第三种做一个实验，比较一下，再写一篇文章给大家参考。

参考资料：

1. Python 持久性管理 http://www.ibm.com/developerworks/cn/linux/l-pypers/
2. shelve — Python object persistence http://docs.python.org/library/shelve.html
3. Core Python Programming, Second Edition   By Wesley J. Chun

4. ZODB 入门 http://www.ibm.com/developerworks/cn/aix/library/au-zodb/?S_TACT=105AGX52&S_CMP=tec-csdn