Точность ухудшается, чем дольше я тренируюсь A Keras Model

Question

В настоящее время я использую Resnet, встроенный в Keras, чтобы сделать два класса классификации. Я использую контрольную точку модели, чтобы сохранить лучшие модели, основанные на точности проверки. Все лучшие и новые модели сохраняются, пока я не пройду все точки данных несколько раз. Keras продолжает сохранять новые модели, показывая, что они имеют более высокую точность, но когда я тестирую модели, они работают хуже, чем предыдущие модели.

Вот результаты тестирования каждой модели с данными проверки. Первое число в названии модели - эпоха, последнее число - точность по Керасу.

• 03-0.90.hdf5, Неправильные прогнозы для A: 176, Неправильные прогнозы для B: 1652, всего ошибок 1828
• 04-0.91.hdf5, Неправильные прогнозы для A: 246, Неправильные прогнозы для B: 1448, всего ошибок 1694
• 06-0.92.hdf5, Неправильные прогнозы для A: 135, Неправильные прогнозы для B: 1738, общее количество ошибок 1873
• 09-0.92.hdf5, Неправильные прогнозы для A: 117, Неправильные прогнозы для B: 1738, всего ошибок 1855
• 10-0.92.hdf5, Неправильные прогнозы для A: 183, Неправильные прогнозы для B: 1208, всего ошибок 1391
• 15-0.92.hdf5, Неправильные прогнозы для A: 64, Неправильные прогнозы для B: 2973, всего ошибок 3037
• 23-0.93.hdf5, Неправильные прогнозы для A: 119, Неправильные прогнозы для B: 2511, общее количество ошибок 2630
• 26-0.93.hdf5, Неправильные прогнозы для A: 113, Неправильные прогнозы для B: 1794, всего ошибок 1907
• 27-0.93.hdf5, Неправильные прогнозы для A: 85, Неправильные прогнозы для B: 2821, общее количество ошибок 2906

...

• 1049-0.97.hdf5, Неправильные прогнозы для A: 31, Неправильные прогнозы для B: 5949, общее количество ошибок 5980
• 1089-0.97.hdf5, Неправильные прогнозы для A: 3, Неправильные прогнозы для B: 6137, всего ошибок 6140
• 1092-0.97.hdf5, Неправильные прогнозы для A: 6, Неправильные прогнозы для B: 6325, всего ошибок 6331
• 1095-0.97.hdf5, Неправильные прогнозы для A: 0, Неправильные прогнозы для B: 6408, всего ошибок 6408
• 1126-0.97.hdf5, Неправильные прогнозы для A: 0, Неправильные прогнозы для B: 6413, общее количество ошибок 6413

Как вы можете видеть, кажется, что модель улучшает точность предсказания A, даже если точность на B падает больше, чем улучшается.

Изменить: вот мой код https://github.com/tan2684/Modified-Keras-Resnet