Tensorflow автоматическая смешанная точность fp16 медленнее, чем fp32 на официальном реснете

Question

Я пытаюсь использовать официальные тесты модели ResNet с https://github.com/tensorflow/models/blob/master/official/resnet/estimator_benchmark.py чтобы поэкспериментировать с поддержкой AMP, включенной в tensorflow-gpu==1.14.0rc0, Я работаю на 2080 Ti, драйвер 410.78, CUDA 10, Ubuntu.

Я внес следующие изменения, чтобы обеспечить быстрое сравнение и сравнение яблок с яблоками:

• Сокращены эпохи до 10.
• Удален в 2 раза больший размер пакета для tweaked работает так, что все тренируется на одинаковом количестве образцов.
• Установите контрольную точку так, чтобы это происходило только один раз после окончания обучения.
• Перешел на обучение использованию CIFAR-10, так как я скачал его на локальный диск.

Я вижу это в журналах, что означает, что AMP активен:

2019-06-03 16:08:40.976829: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1767] Running auto_mixed_precision graph optimizer
2019-06-03 16:08:40.977057: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:40.985402: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:40.986858: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:40.987745: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:40.996781: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:41.001948: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:41.003208: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:41.004589: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:41.005981: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1241] No whitelist ops found, nothing to do
2019-06-03 16:08:41.511761: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1767] Running auto_mixed_precision graph optimizer
2019-06-03 16:08:41.527751: I tensorflow/core/grappler/optimizers/auto_mixed_precision.cc:1723] Converted 529/2910 nodes to float16 precision using 3 cast(s) to float16 (excluding Const and Variable casts)

Но фактическое время выполнения медленнее:

Время выполнения fp32 (голубой) меньше, чем у всех запусков fp16.

Что я могу сделать, чтобы увидеть улучшение производительности?