text: Title: qlora使用fp16训练出现loss nan
  Body: ### 提交前必须检查以下项目
  
  - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
  - [X] 我已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
  - [x] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，同时建议到对应的项目中查找解决方案
  
  ### 问题类型
  
  模型训练与精调
  
  ### 基础模型
  
  LLaMA-2-7B
  
  ### 操作系统
  
  Linux
  
  ### 详细描述问题
  
  在chinese-llama-2-7b上lora sft时，用LlamaTokenizer会出现eval loss nan，但换成AutoTokenizer（fastTokenizer）之后不会nan，似乎与fastTokenizer中\</s\>的编码有关，请问预训练是用的是fastTokenizer吗？
  
  ### 依赖情况（代码类问题务必提供）
  
  ```
  peft                      0.4.0
  torch                     1.13.1
  torchaudio                0.13.1
  torchvision               0.14.1
  transformers              4.31.0
  ```
  
  
  ### 运行日志或截图
  
  ```
  # 请在此处粘贴运行日志
  ```
  