使用tensorflow DataSet實現高效加載變長文本輸入

 更新時間:2020-01-26 11:00:57   作者:佚名   我要評論(0)

DataSet是tensorflow 1.3版本推出的一個high-level的api,在1.3版本還只是處于測試階段,1.4版本已經正式推出。
在網上搜了一遍,發現關于使用DataSet加載文本的資料

DataSet是tensorflow 1.3版本推出的一個high-level的api,在1.3版本還只是處于測試階段,1.4版本已經正式推出。

在網上搜了一遍,發現關于使用DataSet加載文本的資料比較少,官方舉的例子只是csv格式的,要求csv文件中所有樣本必須具有相同的維度,也就是padding必須在寫入csv文件之前做掉,這會增加文件的大小。

經過一番折騰試驗,這里給出一個DataSet+TFRecords加載變長樣本的范例。

首先先把變長的數據寫入到TFRecords文件:

def writedata():
 xlist = [[1,2,3],[4,5,6,8]]
 ylist = [1,2]
 #這里的數據只是舉個例子來說明樣本的文本長度不一樣,第一個樣本3個詞標簽1,第二個樣本4個詞標簽2
 writer = tf.python_io.TFRecordWriter("train.tfrecords")
 for i in range(2):
  x = xlist[i]
  y = ylist[i]
  example = tf.train.Example(features=tf.train.Features(feature={
   "y": tf.train.Feature(int64_list=tf.train.Int64List(value=[y])),
   'x': tf.train.Feature(int64_list=tf.train.Int64List(value=x))
  }))
  writer.write(example.SerializeToString())
 writer.close()

然后用DataSet加載:

feature_names = ['x']
 
def my_input_fn(file_path, perform_shuffle=False, repeat_count=1):
 def parse(example_proto):
  features = {"x": tf.VarLenFeature(tf.int64),
    "y": tf.FixedLenFeature([1], tf.int64)}
  parsed_features = tf.parse_single_example(example_proto, features)
  x = tf.sparse_tensor_to_dense(parsed_features["x"])
  x = tf.cast(x, tf.int32)
  x = dict(zip(feature_names, [x]))
  y = tf.cast(parsed_features["y"], tf.int32)
  return x, y
 
 dataset = (tf.contrib.data.TFRecordDataset(file_path)
    .map(parse))
 if perform_shuffle:
  dataset = dataset.shuffle(buffer_size=256)
 dataset = dataset.repeat(repeat_count)
 dataset = dataset.padded_batch(2, padded_shapes=({'x':[6]},[1])) #batch size為2,并且x按maxlen=6來做padding
 iterator = dataset.make_one_shot_iterator()
 batch_features, batch_labels = iterator.get_next()
 return batch_features, batch_labels
 
next_batch = my_input_fn('train.tfrecords', True)
init = tf.initialize_all_variables()
with tf.Session() as sess:
 sess.run(init)
 for i in range(1):
  xs, y =sess.run(next_batch)
  print(xs['x'])
  print(y)

注意變長的數據TFRecords解析要用VarLenFeature,然后用sparse_tensor_to_dense轉換。

以上這篇使用tensorflow DataSet實現高效加載變長文本輸入就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:

  • tensorflow入門:TFRecordDataset變長數據的batch讀取詳解
  • tensorflow 變長序列存儲實例
  • 解決tensorflow訓練時內存持續增加并占滿的問題

相關文章

最新評論

老快3投注技巧 润欣科技股票股吧 近期有哪些好的股票 福建22选5开奖结果走势图 彩票快三app下载安装 上海快3基本走势图一定牛 北京好的期货配资公司 快乐10分钟开奖 股票停牌最长时间 广东体彩十一选五 河北十一选五app官方下载 贵州快3基本走势图 河北十一选五前三直一定牛 河北快3和值综合走势 5000元炒股一年赚多少 11选5今天开奖结果查询 湖南快乐十分网上投注