tf.data.Dataset 用法

这篇博客介绍了如何利用TensorFlow的tf.data.Dataset API创建和操作数据集,包括从数据切片创建数据集,应用映射函数进行预处理,以及进行迭代处理,强调了在不加载全部数据到内存的情况下实现流式处理的优势。

tf.data.DatasetAPI支持写入的描述性和高效的输入管线。Dataset用法遵循一个常见模式:

  1. 从输入数据创建源数据集。
  2. 应用数据集转换来预处理数据。
  3. 迭代数据集并处理元素。
  4. 迭代以流式方式发生,因此不需要将完整数据集放入内存中。
import tensorflow as tf

dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
for element in dataset:
  print(element)
dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
dataset = dataset.map(lambda x: x*2)
print(list(dataset.as_numpy_iterator()))
tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=int32)
[2, 4, 6]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值