Проблема в остаточном отображении в ResNet

Question

Я пытаюсь сделать небольшую модель, используя остаточное отображение (идея ResNet). Вот те шаги, которые я выполняю (размер ввода (batch_size,2,128,1)).

1. веса слоя 1 - [1,5,1,64], уклон - [64]
2. максимальный пул - конечный размер вывода [batch_size,2,64,64]
3. веса слоя 2 - [1,3,64,128], уклон - [128]
4. вес слоя 3 - [1,3,64,128], смещение - [128] Размер вывода - [batch_size, 2,64,128].

Теперь мой вопрос заключается в том, что на выходе шага 1 имеется 64 плоскости, а на выходе шага 4 - 128 плоскостей. Теперь, чтобы сделать остаточное обучение, оба должны иметь одинаковый размер. Как я должен сделать это так же? Или я где то не прав?