Как решить эту проблему ошибки памяти?

Question

Итак, у меня есть это сообщение об ошибке, которое разрушает все удовольствие от моей работы:

Traceback (most recent call last):
  File "C:\Python\Python36\Scripts\Masterarbeit-1308\CNN - Kopie.py", line 97, in <module>
    model.fit(np.asarray(X_train), np.asarray(Y_train), batch_size=32, epochs=100, verbose=1, validation_data=(np.asarray(X_test), np.asarray(Y_test)))
  File "C:\Users\\****\AppData\Roaming\Python\Python36\site-packages\numpy\core\numeric.py", line 492, in asarray
    return array(a, dtype, copy=False, order=order)
MemoryError

У кого-нибудь есть решение для этого? Я работаю на машине i7 7-го поколения с 16 ГБ оперативной памяти.

Чтобы объяснить больше, это мой код, он принимает весь список массивов (.npy), преобразованных из звуковых спектрограмм в.npy и сохраненных в Input-CNN:

import os, numpy as np
from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D, Activation, Flatten, Conv2D, Dropout, Dense
from keras.layers.normalization import BatchNormalization
import tensorflow as tf
from sklearn.utils import shuffle
from sklearn.cross_validation import train_test_split
from keras.utils import to_categorical

folder = 'D:\InputCNN - Copie'
folder1 = 'C:\Python\Python36\Scripts\Masterarbeit-1308\Data'
from keras import backend as K


My_Data = os.listdir(folder)
num_data= len(My_Data)
Classnames = os.listdir(folder1)
class_num = len(Classnames)
arr =[np.load(os.path.join(folder, filename), fix_imports=True) for filename in os.listdir(folder)]

labels = np.ones((num_data,))
labels[0:31]= 0
labels[31:80] = 1
labels[80:128] = 2
labels[128:131] = 3
labels[131:143] = 4
labels[143:157] = 5
labels[157:209] = 6
labels[209:] = 7
Y = to_categorical(labels,class_num)
x, y = shuffle(arr, Y, random_state=2)
dataset = tf.data.Dataset.from_tensor_slices(My_Data)
X_train, X_test, Y_train, Y_test = train_test_split(x, Y, test_size=0.2)
##
def build_model(idx,X,Y,nb_classes):
    K.set_image_data_format('channels_last')   
    nb_filters = 64  # number of convolutional filters to use
    pool_size = (2, 2)  # size of pooling area for max pooling
    kernel_size = (3, 3)  # convolution kernel size
    nb_layers = 4
    input_shape = (X[idx].shape[1], X[idx].shape[2], X[idx].shape[3])

    model = Sequential()
    model.add(Conv2D(nb_filters, kernel_size, padding='valid', input_shape=input_shape))
    model.add(BatchNormalization(axis=1))
    model.add(Activation('relu'))

    for layer in range(nb_layers-1):
        model.add(Conv2D(nb_filters, kernel_size, padding='valid', input_shape=input_shape))
        model.add(BatchNormalization(axis=1))
        model.add(Activation('relu')) 
        model.add(MaxPooling2D(pool_size=pool_size))
        model.add(Dropout(0.5))

    model.add(Flatten())
    model.add(Dense(128))

    model.add(Activation('relu'))
    model.add(Dropout(0.6))
    model.add(Dense(nb_classes, activation='sigmoid'))
    return model

for idx in range(len(X_train)-1):
 model = build_model(idx,X_train,Y_train, class_num)

model.summary()
model.compile(loss='categorical_crossentropy',
              optimizer='adadelta',
              metrics=['accuracy'])

model.fit(np.array(X_train), np.array(Y_train), batch_size=8, epochs=100, verbose=1, validation_data=(np.array(X_test), np.array(Y_test))) #Here I have the problem
score = model.evaluate(np.array(X_test), np.array(Y_test), verbose=0)
print('Test score:', score[0])
print('Test accuracy:', score[1])

Функция подбора модели - это проблема в моем коде, которая должна обучать мою предварительно сконфигурированную модель и возвращать объект истории (запись обучения). Я попытался np.array и np.asarray, и я получил то же сообщение об ошибке. Если кто-то думает, что резюме модели может быть полезным, я выложу его.

Answer 1

Я решил эту проблему. На самом деле я изменил форму своих данных в списке "X_train" (с (218,128,740,1) до (128,740,1)). Я обнаружил, что благодаря Keras он автоматически добавит еще одну ось с количеством моих данных, введенных в сеть, и np.asarray хорошо работает даже с большим количеством данных.