text: Title: 多进程跑出现loss为0，eval loss为nan
  Body: 感谢您使用Issue提问模板，请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue，感谢您的配合。
  
  *提示：将[ ]中填入x，表示打对钩。提问时删除上面这两行。请只保留符合的选项，删掉其他。*
  
  ### 详细描述问题
  采用多个进程微调chinese_lora_alpaca_plus_13b模型的时候出现loss为0，并且eval loss为nan，padding_side为right
  
  
  ### 运行截图或log
  
  ![image](https://github.com/ymcui/Chinese-LLaMA-Alpaca/assets/19610534/04480a3b-1e09-4a0f-9a2b-43c0be4f7fac)
  
  运行命令如下：
  WORLD_SIZE=2 CUDA_VISIBLE_DEVICES=1,2 torchrun --nproc_per_node=2 finetune.py --base_model '/data/public-model/plus-13b-lora/merge_chinese_lora_alpaca_plus_13b' --data_path './data/merge-46w.json' --output_dir "./plus-13b-output/alpaca-plus-13b-test-001" --batch_size 32 --micro_batch_size 16 --num_epochs 2 --learning_rate 3e-4 --cutoff_len 512 --val_set_size 5000 --lora_r 64 --lora_alpha 128 --lora_dropout 0.1 --lora_target_modules '[q_proj,k_proj,v_proj,o_proj,gate_proj,down_proj,up_proj]' --train_on_inputs --group_by_length
  
  这个大佬们抽空能帮忙解答下大概什么问题？
  
  