python 下怎么加载mnist

发布网友发布时间：2022-04-24 08:18

共2个回答

懂视网时间：2022-04-18 21:25

这篇文章主要介绍了python读取二进制mnist实例详解的相关资料,需要的朋友可以参考下

python读取二进制mnist实例详解

training data 数据结构：

<br>[offset] [type] [value] [description]
0000 32 bit integer 0x00000803(2051) magic number
0004 32 bit integer 60000 number of images
0008 32 bit integer 28 number of rows
0012 32 bit integer 28 number of columns
0016 unsigned byte ?? pixel
0017 unsigned byte ?? pixel
........
xxxx unsigned byte ?? pixel

将整个文件读入：

filename = 'train-images.idx3-ubyte'
binfile = open(filename , 'rb')
buf = binfile.read()

读取头四个32bit的interger:

index = 0
magic, numImages , numRows , numColumns = struct.unpack_from('>IIII' , buf , index)
index += struct.calcsize('>IIII')

读取一个图片，784=28*28 ：

im = struct.unpack_from('>784B' ,buf, index)
index += struct.calcsize('>784B')
 
im = np.array(im)
im = im.reshape(28,28)
 
fig = plt.figure()
plotwindow = fig.add_subplot(111)
plt.imshow(im , cmap='gray')
plt.show()

热心网友时间：2022-04-18 18:33

其实就是python怎么读取binnary
file
mnist的结构如下，选取train-images
TRAINING
SET
IMAGE
FILE
(train-images-idx3-ubyte):
[offset]
[type]
[value]
[description]
0000
32
bit
integer
0x00000803(2051)
magic
number
0004
32
bit
integer
60000
number
of
images
0008
32
bit
integer
28
number
of
rows
0012
32
bit
integer
28
number
of
columns
0016
unsigned
byte
??
pixel
0017
unsigned
byte
??
pixel
........
xxxx
unsigned
byte
??
pixel
也就是之前我们要读取4个
32
bit
integer
试过很多方法，觉得最方便的，至少对我来说还是使用
struct.unpack_from()
filename
=
'train-images.idx3-ubyte'
binfile
=
open(filename
,
'rb')
buf
=
binfile.read()
先使用二进制方式把文件都读进来
index
=
0
magic,
numImages
,
numRows
,
numColumns
=
struct.unpack_from('>IIII'
,
buf
,
index)
index
+=
struct.calcsize('>IIII')
然后使用struc.unpack_from
'>IIII'是说使用大端法读取4个unsinged
int32
然后读取一个图片测试是否读取成功
im
=
struct.unpack_from('>784B'
,buf,
index)
index
+=
struct.calcsize('>784B')
im
=
np.array(im)
im
=
im.reshape(28,28)
fig
=
plt.figure()
plotwindow
=
fig.add_subplot(111)
plt.imshow(im
,
cmap='gray')
plt.show()
'>784B'的意思就是用大端法读取784个unsigned
byte
完整代码如下
import
numpy
as
np
import
struct
import
matplotlib.pyplot
as
plt
filename
=
'train-images.idx3-ubyte'
binfile
=
open(filename
,
'rb')
buf
=
binfile.read()
index
=
0
magic,
numImages
,
numRows
,
numColumns
=
struct.unpack_from('>IIII'
,
buf
,
index)
index
+=
struct.calcsize('>IIII')
im
=
struct.unpack_from('>784B'
,buf,
index)
index
+=
struct.calcsize('>784B')
im
=
np.array(im)
im
=
im.reshape(28,28)
fig
=
plt.figure()
plotwindow
=
fig.add_subplot(111)
plt.imshow(im
,
cmap='gray')
plt.show()
只是为了测试是否成功所以只读了一张图片