tfrecord和tfrecorder

发布网友发布时间：2024-10-02 03:59

共1个回答

热心网友时间：2024-10-08 02:46

tfrecord的应用范围广泛，适用于单机单卡、单机多卡、多机多卡以及纯CPU环境。

1. 使用tfrecord的时机包括：

（1）当IO成为训练效率瓶颈时，如GPU利用率在高低之间波动，因为数据流向GPU并参与计算需要时间，这段时间GPU只能等待。

（2）任何想使用tf.Dataset的场景，tfrecorder和tf.data.TFRecordDataset能方便地将数据转化为tfrecord格式。

（3）数据集太大无法放入内存时，tfrecord可方便地进行并行处理，且读写速度快。

（4）想快速读取用于tf的训练数据时，tfrecord读写性能优越，功能强大。

2. tfrecord是一种通用的存储格式，与csv、parquet、json等格式属于同一层级。其优点包括：

（1）更高效的存储：TFRecord数据可减少空间占用，可分割成多个文件便于并行读取。

（2）快速I/O：TFRecord格式可进行并行I/O操作，适用于TPU或分布式场景。

（3）包括万象：tfrecord可统一存储不同类型的数据，如文本、图像、音频、表格等。

3. 使用tfrecord的方法包括：

（1）转tfrecord格式、存储tfrecord数据：需要使用tf.train.example和tf.train.feature，先序列化example再存储。

（2）读取tfrecord file：使用tf.data.TFRecordDataset，定义数据类型和类别。

4. Spark与tfrecord：对于非特别大的数据，csv足够；对于特别大的数据，可使用SparkDataFrame接口快速转化为tfrecord。