tf.data.DatasetAPI支持写入的描述性和高效的输入管线。Dataset用法遵循一个常见模式:
- 从输入数据创建源数据集。
- 应用数据集转换来预处理数据。
- 迭代数据集并处理元素。
- 迭代以流式方式发生,因此不需要将完整数据集放入内存中。
import tensorflow as tf
dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
for element in dataset:
print(element)
dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
dataset = dataset.map(lambda x: x*2)
print(list(dataset.as_numpy_iterator()))
tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=int32)
[2, 4, 6]