Керасу требуется очень много времени, чтобы сделать первый прогноз, следующий за model.load()

Question

Я загружаю модель в кераты с помощью model.load() и обнаруживаю, что для первого прогноза требуется более чем 10-кратное вычисление, чем для последующих прогнозов, любые идеи, почему это может происходить, или предложения сделать загрузку инициализированной первой Прогнозирование скорости цикла будет высоко ценится.

Я использую серверную часть Tensorflow с процессорной обработкой.

Спасибо за помощь, Деним

Answer 1

Итак, я нашел ответ, который работает для меня:

если вы загружаете много моделей одновременно, не используйте функцию keras model.load, сохраните вашу структуру как json / yaml, а веса как.h5 и загрузите в соответствии с примерами keras.

Функция model.load работает намного быстрее при работе с менее чем 5 моделями, однако время загрузки экспоненциально увеличивается при одновременном загрузке большего количества моделей.

загрузка из json и веса из.h5 была в 10 раз быстрее при загрузке 100 моделей одновременно, и, хотя при загрузке структуры и метода взвешивания наблюдается некоторое замедление для каждой модели, он является линейным, а не экспоненциальным, что делает его значительно быстрее при загрузке нескольких моделей одновременно.