I’m have the same issue with Unet. In keras it converge nicely with no issue, but in pytorch it is not. it diverge after 4 to 5 epochs. Although I have checked the architecture implementations, and I don’t see any differences between the keras and pytorch implementation and the number of trainable parameters. How to solve the divergence of pytorch model? any idea why this is happening?
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:18<00:00,  1.91it/s]
epoch 1/20, loss 0.11540429561613606, dice 0.5524536604077167
saving the model ...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:20<00:00,  1.89it/s]
epoch 2/20, loss 0.030815164163202097, dice 0.7417304706613025
saving the model ...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:19<00:00,  1.90it/s]
epoch 3/20, loss 0.025856498361659385, dice 0.7701306981134968
saving the model ...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:20<00:00,  1.89it/s]
epoch 4/20, loss 0.0235783447655131, dice 0.7951608874509188
saving the model ...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:20<00:00,  1.90it/s]
epoch 5/20, loss 0.022023522508196273, dice 0.8102755615762612
saving the model ...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:16<00:00,  1.93it/s]
epoch 6/20, loss 1.5251818179503502, dice 0.4822449768164751
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:14<00:00,  1.94it/s]
epoch 7/20, loss 2.747159472943143, dice 0.1791747296810478
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:12<00:00,  1.95it/s]
epoch 8/20, loss 2.7447210459369136, dice 0.17914873635318582
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 603/603 [05:12<00:00,  1.96it/s]
epoch 9/20, loss 2.744714410941597, dice 0.17913664069644042