使用tensorflow DataSet实现高效加载变长文本输入
2020-02-13 11:18
567 查看
DataSet是tensorflow 1.3版本推出的一个high-level的api,在1.3版本还只是处于测试阶段,1.4版本已经正式推出。
在网上搜了一遍,发现关于使用DataSet加载文本的资料比较少,官方举的例子只是csv格式的,要求csv文件中所有样本必须具有相同的维度,也就是padding必须在写入csv文件之前做掉,这会增加文件的大小。
经过一番折腾试验,这里给出一个DataSet+TFRecords加载变长样本的范例。
首先先把变长的数据写入到TFRecords文件:
def writedata(): xlist = [[1,2,3],[4,5,6,8]] ylist = [1,2] #这里的数据只是举个例子来说明样本的文本长度不一样,第一个样本3个词标签1,第二个样本4个词标签2 writer = tf.python_io.TFRecordWriter("train.tfrecords") for i in range(2): x = xlist[i] y = ylist[i] example = tf.train.Example(features=tf.train.Features(feature={ "y": tf.train.Feature(int64_list=tf.train.Int64List(value=[y])), 'x': tf.train.Feature(int64_list=tf.train.Int64List(value=x)) })) writer.write(example.SerializeToString()) writer.close()
然后用DataSet加载:
feature_names = ['x'] def my_input_fn(file_path, perform_shuffle=False, repeat_count=1): def parse(example_proto): features = {"x": tf.VarLenFeature(tf.int64), "y": tf.FixedLenFeature([1], tf.int64)} parsed_features = tf.parse_single_example(example_proto, features) x = tf.sparse_tensor_to_dense(parsed_features["x"]) x = tf.cast(x, tf.int32) x = dict(zip(feature_names, [x])) y = tf.cast(parsed_features["y"], tf.int32) return x, y dataset = (tf.contrib.data.TFRecordDataset(file_path) .map(parse)) if perform_shuffle: dataset = dataset.shuffle(buffer_size=256) dataset = dataset.repeat(repeat_count) dataset = dataset.padded_batch(2, padded_shapes=({'x':[6]},[1])) #batch size为2,并且x按maxlen=6来做padding iterator = dataset.make_one_shot_iterator() batch_features, batch_labels = iterator.get_next() return batch_features, batch_labels next_batch = my_input_fn('train.tfrecords', True) init = tf.initialize_all_variables() with tf.Session() as sess: sess.run(init) for i in range(1): xs, y =sess.run(next_batch) print(xs['x']) print(y)
注意变长的数据TFRecords解析要用VarLenFeature,然后用sparse_tensor_to_dense转换。
以上这篇使用tensorflow DataSet实现高效加载变长文本输入就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- 用tensorflow DataSet高效加载变长文本输入
- 使用TensorFlow实现一个文本分类的卷积神经网络Implementing a CNN for Text Classification in TensorFlow
- 使用TensorFlow Dataset读取数据
- 基于dataset的使用和图片延时加载的实现方法
- Android中使用TensorFlow Lite实现图像分类
- UIWebView的一些使用技巧(手势缩放字体、先加载文本再load图片、实现@变色的UITextView等)
- 使用TensorFlow Lite在Android手机上实现图像分类
- 使用FreeType实现DirectX11的文本输入
- 使用传统Android组件实现高效数据加载
- 使用tensorflow objet_detection API 实现遥感影像飞机模型识别全过程
- python tensorflow 使用minist数据集实现手写数字识别
- Python使用tkinter库实现文本显示用户输入功能示例
- [TensorFlowJS只如初见]实战四·使用TensorFlowJS拟合曲线(类似TensorFlow原生实现方法)
- TensorFlow Dataset的使用
- tensorflow estimator 使用hook实现finetune
- iOS9使用提示框进行文本输入的正确实现方式
- [转]使用事件驱动模型实现高效稳定的网络服务器程序
- C#中使用指针实现高效比较字符串的小技巧
- Asp.net使用JQuery实现评论的无刷新分页及分段延迟加载效果
- 使用jquery插件实现图片延迟加载技术详细说明