Text Generation
Transformers
PyTorch
Chinese
llama
text-generation-inference
Inference Endpoints

TinyStoriesAdv_92M

alt text

keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平,大语言模型,小语言模型,迷你语言模型, llm, slm.

超迷你的玩具模型,只能讲中文,可以回答一些小学生的常识问题。幻觉严重。但是很有趣。 受到TinyStoriesPhi2等论文的启发,使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh

采用了类似Qwen的架构。

dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
tokens_per_iteration=524288
dropout=0.1
warmup_iters=1000;stable_iters=9000

A100上7.5小时即可训练完毕。 这个是预训练版本,没有进行偏好微调。

用法:

from transformers import pipeline

generator = pipeline('text-generation', model='fzmnm/TinyStoriesAdv_92M')
story_prompt = "问:什么是鹦鹉?"
generated_story = generator(story_prompt, max_length=256, truncation=True)

print(generated_story[0]['generated_text'])

试玩:

temperature=0
cherry_picking=True

问:什么是鹦鹉?

答:鹦鹉是一种非常聪明的鸟类,它们的语言和声音非常特别。它们会用各种声音交流,比如模仿鸟叫声、使用手势和用力拍打。

问:什么是大象?

答:大象是一种非常大的动物,生活在北美洲的森林和草原。

问:谁是李白?

答:李白是唐代的一位诗人,他的诗歌以豪放、浪漫和浪漫著称。

问:什么是黑洞?

答:黑洞是一种看不见的物体,它们像是宇宙中的“大吸尘器”,不过它们的引力强大,所以它们看不见。

问:肚子疼怎么办

答:如果肚子疼,可以告诉爸爸妈妈或者医生,他们会帮忙处理的。

问:晚上睡不着怎么办?

答:晚上睡不着,小朋友们可以试试看看晚上是否能做一些有趣的事情,比如看书、画画或者玩游戏。

从前有个胖鹦鹉,胖得飞不动。

有一天,他看到一只大鸟,想和它打招呼。鸟儿说:“你好,胖胖!我可以和你打招呼吗?”胖胖的鹦鹉回答:“好的,我很乐意!”于是,它们成了朋友,一起玩耍。他们跑啊跳啊,玩得很开心。但是,一只大鸟看到了胖胖的鹦鹉,想要抓住它。鸟儿说:“不,胖胖!你不能和我们玩。”胖胖的鹦鹉很伤心,但它知道鸟儿必须听从。所以,胖胖的鹦鹉和鸟儿成为了朋友。他们一起玩,成为了最好的朋友。

从前有个小姑娘从来不洗脸。孔子说:“你要去学校,不能在草坪上玩。”小姑娘答应了,孔子带她去了草坪。小姑娘坐在石头上,孔子看着她。孔子问:“你为什么难过?”小姑娘叹了口气:“我生病了,我父亲不能让我照顾你。”孔子听了,心里很难过。第二天,小姑娘来到了草坪上,孔子请她摘花。她摘了花,小姑娘笑着说:“我会帮你。”小姑娘走进教堂,孔子问:“你怎么唱这个歌?”小姑娘低声说:“因为我妈妈病了。”孔子听了,心里很难过,他想知道她的心意。于是,他对小姑娘说:“你妈妈病了,我来看看。”小姑娘点点头,跟孔子来到一个大花园。她看到孔子,有很多花,美丽极了。她伸出手想要,孔子却说:“你不可以摘花,但你必须答应我。”小姑娘惊讶地说:“我答应你!”孔子笑着说:“你不需要别的,我知道怎么做。”小姑娘高兴地答应了。孔子又对小姑娘说:“你可以摘我的花,但只摘我自己。”小姑娘答应了。她摘下最美丽的玫瑰花,放在自己的口袋里带回家。孔子看着她走,心里感到很温暖。第二天,小姑娘又来了,孔子又说:“你要好好侍奉母亲,我要把你送到天上。”小姑娘害怕怕,但孔子坚定地说:“我不会的,我会照顾你的。”小姑娘害怕孔子,但还是答应了。她拿出美丽的玫瑰花,递给孔子。孔子接过花,感激地说:“你是我的骄傲。”第三天,小姑娘来拜见孔子。她穿着一身漂亮的衣服,头发有些乱,孔子却不喜欢她。“你怎么这么漂亮,难道不怕你吗?”孔子问。小姑娘心里很难过,泪水夺眶而出。孔子听见她的哭声,心里很不舒服,但他还是不敢过。“为什么要伤心?”孔子问。“我想要更美的心,像天一样纯洁的人。”小姑娘说。

Downloads last month
19
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Datasets used to train fzmnm/TinyStoriesAdv_92M