IDEA-CCNL

/

Ziya-LLaMA-13B-v1

like 272

Follow

Fengshenbang-LM 241

后续会给出示例。

大概什么时候有微调样例呢

求一个训练输入的demo

{
"task": "xxx",
"prompt": ["请问“在衰亡时会放出低能反质子和反氦原子核”会产生怎么样的结果?", "promt_xxx2"],
"output": ["观测宇宙射线中的反质子和反氦原子核可以为反物质天体的存在提供证据。", "output_xxx2"]
}
上面是SFT输入的数据格式示例，在最终构造数据时，会交替从prompt和output中取出句子，最终构造成promt1 + output1 + prompt2 + output2这样的形式，其中output2就是模型的训练目标（如果是单轮对话，那么prompt和output的列表长度均为1）

能不能尽快给个微调代码啊，等的花都谢了

{
"task": "xxx",
"prompt": ["请问“在衰亡时会放出低能反质子和反氦原子核”会产生怎么样的结果?", "promt_xxx2"],
"output": ["观测宇宙射线中的反质子和反氦原子核可以为反物质天体的存在提供证据。", "output_xxx2"]
}
上面是SFT输入的数据格式示例，在最终构造数据时，会交替从prompt和output中取出句子，最终构造成promt1 + output1 + prompt2 + output2这样的形式，其中output2就是模型的训练目标（如果是单轮对话，那么prompt和output的列表长度均为1）

这里的promt_xxx2 和output_xxx2具体是咋指定的？ 我看推理阶段是 ':' + query.strip() + '\n:' , 那我训练':' + query.strip() + '\n:' + answer.strip()有问题吗？