text: Title: 请问llama2-7b的显存要求是多少
  Body: ### 提交前必须检查以下项目
  
  - [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
  - [X] 我已阅读[项目文档](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki)和[FAQ章节](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/常见问题)并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
  - [X] 第三方插件问题：例如[llama.cpp](https://github.com/ggerganov/llama.cpp)、[text-generation-webui](https://github.com/oobabooga/text-generation-webui)等，同时建议到对应的项目中查找解决方案
  
  ### 问题类型
  
  模型训练与精调
  
  ### 基础模型
  
  LLaMA-2-7B
  
  ### 操作系统
  
  Linux
  
  ### 详细描述问题
  
  ```
  # 用了6张a10（24G）进行预训练，block开到512，没有加lm_head，embedding层，开启了zero2 offload依旧报错
  ```
  
  
  
  
  ### 运行日志或截图
  
  ```
  # torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 130.00 MiB (GPU 0; 22.20 GiB total capacity; 20.60 GiB already allocated; 126.12 MiB free; 20.98 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
    0%|                                                                                                                                                                                  | 0/3 [00:00<?, ?it/s
  ```
  