idk, works for me:
my_module._MyModule__my_parameter.grad
Out[10]: tensor(cpu,(1,)[1.])
id(my_module._MyModule__my_parameter)
Out[11]: 158271096
id(my_module._parameters['_MyModule__my_parameter'])
Out[12]: 158271096