I am checking my weights every 10 epochs. I have tried xavier and normal initialization of weights and have varied learning rate in a wide range. Also, validation error either remain constant or increases slowly. Irrespective of various set up, I am getting ‘nan’ in some filters at 10th epoch. What could be the issue and how to solve it?
(1 ,0 ,.,.) =
nan         nan         nan  …          nan         nan         nan
nan         nan         nan  …          nan         nan         nan
nan         nan         nan  …          nan         nan         nan
…                   ⋱                   …
nan         nan         nan  …          nan         nan         nan
nan         nan         nan  …          nan         nan         nan
nan         nan         nan  …          nan         nan         nan