Невозможно использовать активацию relu в IndyLSTMCell в TensorFlow 1.10
Я попробовал IndyLSTMCell в TensorFlow 1.10. Он работает с активацией по умолчанию (tanh), но не работает с nn_ops.relu. Когда я установил активацию на relu, потеря стала NAN. IndyGRUCell имеет ту же проблему.
Активация relu работает с IndRNNCell, однако, когда я уложил ее на 4 или 6 слоев, я не увидел какого-либо улучшения емкости модели.
Ячейка была помещена внутри tf.contrib.rnn.MultiRNNCell, чтобы получить несколько слоев, затем tf.nn.dynamic_rnn. Я также попробовал модель seq2seq (модель Google NMT), основанную на новом типе ячеек.
Эксперименты проводились как на версии для графического процессора, так и для версии процессора нового TensorFlow (1.10.0) с Python 3.6.
Любое предложение, чтобы исправить / решить эту проблему будет очень признателен. Благодарю.