I’m using torch==0.4.1 from PyPI.
As expected, when in eval mode, none of the weights change (but the output is garbage). When in train mode with no_grad() and requires_grad_(False), these are the weights that change:
module.main.conv_init.weight
module.main.conv_init.weight_u
module.main.up_0.res.res_0.conv1.weight
module.main.up_0.res.res_0.conv1.weight_u
module.main.up_0.res.res_0.bn1.running_mean
module.main.up_0.res.res_0.bn1.running_var
module.main.up_0.res.res_0.bn1.num_batches_tracked
module.main.up_0.res.res_0.conv2.weight
module.main.up_0.res.res_0.conv2.weight_u
module.main.up_0.res.res_0.bn2.running_mean
module.main.up_0.res.res_0.bn2.running_var
module.main.up_0.res.res_0.bn2.num_batches_tracked
module.main.up_0.res.res_1.conv1.weight
module.main.up_0.res.res_1.conv1.weight_u
module.main.up_0.res.res_1.bn1.running_mean
module.main.up_0.res.res_1.bn1.running_var
module.main.up_0.res.res_1.bn1.num_batches_tracked
module.main.up_0.res.res_1.conv2.weight
module.main.up_0.res.res_1.conv2.weight_u
module.main.up_0.res.res_1.bn2.running_mean
module.main.up_0.res.res_1.bn2.running_var
module.main.up_0.res.res_1.bn2.num_batches_tracked
module.main.up_0.res.res_2.conv1.weight
module.main.up_0.res.res_2.conv1.weight_u
module.main.up_0.res.res_2.bn1.running_mean
module.main.up_0.res.res_2.bn1.running_var
module.main.up_0.res.res_2.bn1.num_batches_tracked
module.main.up_0.res.res_2.conv2.weight
module.main.up_0.res.res_2.conv2.weight_u
module.main.up_0.res.res_2.bn2.running_mean
module.main.up_0.res.res_2.bn2.running_var
module.main.up_0.res.res_2.bn2.num_batches_tracked
module.main.up_0.conv.weight
module.main.up_0.conv.weight_u
module.main.up_0.bn.running_mean
module.main.up_0.bn.running_var
module.main.up_0.bn.num_batches_tracked
module.main.sa_1.query_conv.weight
module.main.sa_1.query_conv.weight_u
module.main.sa_1.key_conv.weight
module.main.sa_1.key_conv.weight_u
module.main.sa_1.value_conv.weight
module.main.sa_1.value_conv.weight_u
module.main.up_1.res.res_0.conv1.weight
module.main.up_1.res.res_0.conv1.weight_u
module.main.up_1.res.res_0.bn1.running_mean
module.main.up_1.res.res_0.bn1.running_var
module.main.up_1.res.res_0.bn1.num_batches_tracked
module.main.up_1.res.res_0.conv2.weight
module.main.up_1.res.res_0.conv2.weight_u
module.main.up_1.res.res_0.bn2.running_mean
module.main.up_1.res.res_0.bn2.running_var
module.main.up_1.res.res_0.bn2.num_batches_tracked
module.main.up_1.res.res_1.conv1.weight
module.main.up_1.res.res_1.conv1.weight_u
module.main.up_1.res.res_1.bn1.running_mean
module.main.up_1.res.res_1.bn1.running_var
module.main.up_1.res.res_1.bn1.num_batches_tracked
module.main.up_1.res.res_1.conv2.weight
module.main.up_1.res.res_1.conv2.weight_u
module.main.up_1.res.res_1.bn2.running_mean
module.main.up_1.res.res_1.bn2.running_var
module.main.up_1.res.res_1.bn2.num_batches_tracked
module.main.up_1.res.res_2.conv1.weight
module.main.up_1.res.res_2.conv1.weight_u
module.main.up_1.res.res_2.bn1.running_mean
module.main.up_1.res.res_2.bn1.running_var
module.main.up_1.res.res_2.bn1.num_batches_tracked
module.main.up_1.res.res_2.conv2.weight
module.main.up_1.res.res_2.conv2.weight_u
module.main.up_1.res.res_2.bn2.running_mean
module.main.up_1.res.res_2.bn2.running_var
module.main.up_1.res.res_2.bn2.num_batches_tracked
module.main.up_1.conv.weight
module.main.up_1.conv.weight_u
module.main.up_1.bn.running_mean
module.main.up_1.bn.running_var
module.main.up_1.bn.num_batches_tracked
module.main.up_2.res.res_0.conv1.weight
module.main.up_2.res.res_0.conv1.weight_u
module.main.up_2.res.res_0.bn1.running_mean
module.main.up_2.res.res_0.bn1.running_var
module.main.up_2.res.res_0.bn1.num_batches_tracked
module.main.up_2.res.res_0.conv2.weight
module.main.up_2.res.res_0.conv2.weight_u
module.main.up_2.res.res_0.bn2.running_mean
module.main.up_2.res.res_0.bn2.running_var
module.main.up_2.res.res_0.bn2.num_batches_tracked
module.main.up_2.res.res_1.conv1.weight
module.main.up_2.res.res_1.conv1.weight_u
module.main.up_2.res.res_1.bn1.running_mean
module.main.up_2.res.res_1.bn1.running_var
module.main.up_2.res.res_1.bn1.num_batches_tracked
module.main.up_2.res.res_1.conv2.weight
module.main.up_2.res.res_1.conv2.weight_u
module.main.up_2.res.res_1.bn2.running_mean
module.main.up_2.res.res_1.bn2.running_var
module.main.up_2.res.res_1.bn2.num_batches_tracked
module.main.up_2.res.res_2.conv1.weight
module.main.up_2.res.res_2.conv1.weight_u
module.main.up_2.res.res_2.bn1.running_mean
module.main.up_2.res.res_2.bn1.running_var
module.main.up_2.res.res_2.bn1.num_batches_tracked
module.main.up_2.res.res_2.conv2.weight
module.main.up_2.res.res_2.conv2.weight_u
module.main.up_2.res.res_2.bn2.running_mean
module.main.up_2.res.res_2.bn2.running_var
module.main.up_2.res.res_2.bn2.num_batches_tracked
module.main.up_2.conv.weight
module.main.up_2.conv.weight_u
module.main.up_2.bn.running_mean
module.main.up_2.bn.running_var
module.main.up_2.bn.num_batches_tracked
module.main.up_3.res.res_0.conv1.weight
module.main.up_3.res.res_0.conv1.weight_u
module.main.up_3.res.res_0.bn1.running_mean
module.main.up_3.res.res_0.bn1.running_var
module.main.up_3.res.res_0.bn1.num_batches_tracked
module.main.up_3.res.res_0.conv2.weight
module.main.up_3.res.res_0.conv2.weight_u
module.main.up_3.res.res_0.bn2.running_mean
module.main.up_3.res.res_0.bn2.running_var
module.main.up_3.res.res_0.bn2.num_batches_tracked
module.main.up_3.res.res_1.conv1.weight
module.main.up_3.res.res_1.conv1.weight_u
module.main.up_3.res.res_1.bn1.running_mean
module.main.up_3.res.res_1.bn1.running_var
module.main.up_3.res.res_1.bn1.num_batches_tracked
module.main.up_3.res.res_1.conv2.weight
module.main.up_3.res.res_1.conv2.weight_u
module.main.up_3.res.res_1.bn2.running_mean
module.main.up_3.res.res_1.bn2.running_var
module.main.up_3.res.res_1.bn2.num_batches_tracked
module.main.up_3.res.res_2.conv1.weight
module.main.up_3.res.res_2.conv1.weight_u
module.main.up_3.res.res_2.bn1.running_mean
module.main.up_3.res.res_2.bn1.running_var
module.main.up_3.res.res_2.bn1.num_batches_tracked
module.main.up_3.res.res_2.conv2.weight
module.main.up_3.res.res_2.conv2.weight_u
module.main.up_3.res.res_2.bn2.running_mean
module.main.up_3.res.res_2.bn2.running_var
module.main.up_3.res.res_2.bn2.num_batches_tracked
module.main.up_3.conv.weight
module.main.up_3.conv.weight_u
module.main.up_3.bn.running_mean
module.main.up_3.bn.running_var
module.main.up_3.bn.num_batches_tracked
module.main.conv_final.weight
module.main.conv_final.weight_u