Python lmdb

** 转载或引用请注明出处，ayst123的专栏（/article/3721289.html）， 谢谢 !

最近从 leveldb 转到 lmdb, 需要用python实现。观察caffe里，db里 保存的都是datum format, 所以datum就变成了中转中心。

用python 调用levedb的函数在这里

这里是 lmdb documents

write

[code]db_img = lmdb.Environment(lmdb_img_name,map_size=int(1e12))
txn_img = db_img.begin(write=True,buffers=True)
datum_img = getImgDatum(img_path)
txn_img.put(key,datum_img.SerializeToString())
txn_img.commit()
db_img.close()

这里，先建立lmdb的instance， db_img。 然后开始txn(可能有很多个开始？)。 put 存放，最后一定注意要commit()。不然根本没有存进去，检查下生成的lmdb文件就能看出。最后，close()

这里生成datum是用caffe自带的函数，做io.py里，叫caffe.io.array_to_datum, 将array变成datum.

Note:

datum存的时候一定要用datum.SerializeToString(), 将它变成string()

分段write

[code]for ind,obj in enumerate(list):
    if ind%100=0:
        txn.commit()
        txn = env.begin(write=True)

txn.commit()
env.close()

每一次commit 后，需要再定义一次 txn=env.begin(write=True)

for loop 外面最后再 commit

Read

[code]img_lmdb = imdb.open("name")
txn= img_lmdb.begin()
cursor = txn.cursor()
cursor.iternext()
key = cursor.key()
value = cursor.value()

datum = caffe_pb2.Datum()
datum.ParseFromString(value)

Note:

cursor 第一个是空的， iternext()后是第一个值

循环

txn = …

cursor = txn.cursor()

for ( idx, (key, value) ) in enumerate(cursor):

…………….

这就可以循环找了



** 转载或引用请注明出处，ayst123的专栏（/article/3721289.html）， 谢谢 !