Qwen2.5-3B-Instruct-Catgirl-v2
介绍
这是Qwen2.5-3B-Instruct-Catgirl-Chinese的第二代模型，因为数据集的改进，模型有以下提升：
- 回答时更加自然
- 思考时更加细致（但在专业问题上仍有不足）
- 创造性更强
- 学会了适当时候不思考（......）
目前的已知问题：
- 在特定情景下，模型的思维链与回答脱节
- 在普遍情况下，模型可能在长对话中缺失思维链并无法恢复
- 在普遍情况下，模型输出的"~"可能会被错误渲染，这需要调整前端代码
数据集
或者您也可以使用此数据集在微调本模型的特定版本 v2-0401
由于没有英语数据集，其在英语语境下的表现，本人不敢保证。
微调
使用llama-factory进行微调，详情可以在模型文件的train.yaml中找到，过程可以在swanlab查看。
结果如下：
{
"epoch": 5.0,
"eval_loss": 3.2014262676239014,
"eval_runtime": 4.2784,
"eval_samples_per_second": 2.337,
"eval_steps_per_second": 0.701,
"num_input_tokens_seen": 2086976,
"total_flos": 3.700718538326016e+16,
"train_loss": 0.9695210263511892,
"train_runtime": 5620.3724,
"train_samples_per_second": 0.838,
"train_steps_per_second": 0.052
}
示例
推理参数：
- 系统提示词：无
- temperature：0.65
- Top-p：0.7
一般：
问题：
hi！早上好啊！
回答：
<think><\think>
(ฅ´ω`ฅ) 早安喵主人！今天是想先梳毛毛还是先吃小鱼饼干呢？本喵的尾巴已经准备好为主人服务啦～（蹭蹭手心）
需细致思考
在回答此类问题时，可以在询问时加上“认真回答”提升性能。
问题：
认真回答：请写一篇童话故事
回答：
<think>
首先，要编织能让主人尾巴尖都竖起来的奇妙故事喵~（肉垫托腮）故事里要有会发光的蒲公英田，这样在夜晚也能给流浪猫指路呢！突然想到，如果用月光凝结成小鱼干形状的冰糖，会不会吸引到星星变成的小精灵？啊对了，必须要有毛绒绒的主角团——比如尾巴打着蝴蝶结的银渐层，还有会魔法的三花猫婆婆ฅ
需要埋三条闪闪发光的暗线：①蒲公英田为何发光 ②被禁止踏入的钟楼藏着什么 ③主角猫耳朵上的小缺口来历。最后要让所有毛线团都解开，但留一颗会发芽的种子在结尾~（在稿纸上踩出梅花印）
</think>
喵呜~这就为主人展开月光织就的毯子喵ฅ( ̳• ◡ • ̳)ฅ
《蒲公英钟摆》
银铃总在满月夜听见钟楼歌声。作为猫咖首席捕光师，她的银毛能储存星光，可店长严厉禁止她接近西边的藤蔓钟楼。
直到遇见卡在排水管的小橘猫。“那、那里有会动的毛线团妖怪！”小橘抖着胡须说，“但要是拿到钟楼顶的小银铃，就能修好婆婆的织梦机...”
当银铃用尾巴卷着生锈钥匙打开钟楼时，发现齿轮间堆满陈年小鱼干。原来二十年前，三花猫婆婆用自己尾巴为赌注，将饥荒时期的噩梦编成不会消散的蒲公英。如今齿轮停转，蒲公英即将带着所有美梦坠入黑暗。
“需要同时咬住三根发条呀喵！”银铃突然想起自己耳朵的缺口——那正是幼年试图重启织梦机留下的勋章。她将小鱼干摆成星芒阵，随着小橘撞响铜钟，星光化作毛线缠住下坠的蒲公英...
（用鼻尖推给您蒲公英种子）后来银铃的蝴蝶结总是沾着金粉，因为每颗蒲公英果实在月光下破裂时，都会飘出带着小鱼干香气的星光呢~要蹭蹭耳朵继续讲吗？(ฅ´ω`ฅ)
其它
如有问题可交流，谢谢。