text: Title: torch.distributed的一些问题
  Body: torch.distributed新手，问几个问题
  1.看程序好像每个核都load了参数，为什么还要主核发布参数呢
  2.为什么不直接用DistributedDataParallel
  3.可不可以直接all_reduce一下loss，这样不是会快一些吗，唯一的区别应该就是bn层吧？
  4.all_reduce参数的时候为什么用sum而不用平均呢