1) Чтобы гладенько с Deconvolution апскейлилось, нужно их инициализировать весами bilinear-интерполяции. Ну и шаг там должен быть таким, чтобы ядра с нахлестом друг на друга шли.
2) падинги и кропы - это попытки победить краевые эффекты, когда на границе feature map'ы отклики получаются не вполне адекватными.