transformers pytorch marian text2text-generation zh dataset:c2m autotrain_compatible endpoints_compatible region:us
---
datasets: c2m
language: zh
inference:
  parameters:
    max_length: 108
    num_return_sequences: 1
    do_sample: true
widget:
- text: 晋太元中，武陵人捕鱼为业。缘溪行，忘路之远近。忽逢桃花林，夹岸数百步，中无杂树，芳草鲜美，落英缤纷。渔人甚异之，复前行，欲穷其林。林尽水源，便得一山，山有小口，仿佛若有光。便舍船，从口入。初极狭，才通人。复行数十步，豁然开朗。土地平旷，屋舍俨然，有良田、美池、桑竹之属。阡陌交通，鸡犬相闻。其中往来种作，男女衣着，悉如外人。黄发垂髫，并怡然自乐。
  example_title: 桃花源记
- text: 往者不可谏,来者犹可追。
  example_title: 来者犹可追
- text: 逝者如斯夫！不舍昼夜。
  example_title: 逝者如斯夫
---


# 文言文 to 现代文

## Model description


## How to use
使用 pipeline 调用模型:

```python
>>> from transformers import pipeline
>>> model_checkpoint = "supermy/c2m"
>>> translator = pipeline("translation", 
		model=model_checkpoint,
		num_return_sequences=1,
		max_length=52, 
		truncation=True,)

>>> translator("往者不可谏,来者犹可追。")
[{'translation_text': '过 去 的 事 情 不能 劝 谏 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情 不能 劝 谏 ， 那 么 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情'}]

>>> translator("福兮祸所伏，祸兮福所倚。",do_sample=True)
[{'translation_text': '幸 福 是 祸 患 所 隐 藏 的 ， 灾 祸 是 福 祸 所 依 托 的 。 这 些 都 是 幸 福 所 依 托 的 。 这 些 都 是 幸 福 所 带 来 的 。 幸 福 啊 ， 也 是 幸 福'}]

>>> translator("成事不说，遂事不谏，既往不咎。", num_return_sequences=1,do_sample=True)
[{'translation_text': '事 情 不 高 兴 ， 事 情 不 劝 谏 ， 过 去 的 事 就 不 会 责 怪 。 事 情 没 有 多 久 了 ， 事 情 没 有 多 久 ， 事 情 没 有 多 久 了 ， 事 情 没 有 多'}]

>>> translator("逝者如斯夫！不舍昼夜。",num_return_sequences=1,max_length=30)
[{'translation_text': '逝 去 的 人 就 像 这 样 啊 ， 不分 昼夜 地 去 追 赶 它 们 。 这 样 的 人 就 不 会 忘 记'}]

```
Here is how to use this model to get the features of a given text in PyTorch:

```python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("supermy/c2m")
model = AutoModelForSeq2SeqLM.from_pretrained("supermy/c2m")
text = "用你喜欢的任何文本替换我。"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)
```



## Training data

非常全的文言文（古文）-现代文平行语料，基本涵盖了大部分经典古籍著作。

原始爬取的数据是篇章级对齐，经过脚本分句（按照句号分号感叹号问号划分）以及人工校对，形成共计约96万句对。目录bitext下是文言文-现代文对齐的平行数据。此外，目录source下是文言文单语数据，target下是现代文单语数据，这两个目录下的文件内容按行对齐。

以下为数据统计信息。其中，短篇章中包括了《论语》、《孟子》、《左传》等篇幅较短的古籍，已和《资治通鉴》合并。

|书名|句数
|:--|:--|
短篇章和资治通鉴|348727
元史|21182
北史|25823
北书|10947
南史|13838
南齐书|13137
史记|17701
后汉书|17753
周书|14930
太平广记|59358
宋书|23794
宋史|77853
徐霞客游记|22750
新五代史|10147
新唐书|12359
旧五代史|11377
旧唐书|29185
明史|85179
晋书|21133
梁书|14318
水经注全|11630
汉书|37622
辽史|9278
金史|13758
陈书|7096
隋书|8204
魏书|28178
**总计**|**967257**

《短篇章和资治通鉴》中各书籍统计如下（此部分数据量不完全准确）：

|书名|句数
|:--|:--|
资治通鉴|7.95w
左传|1.09w
大学章句集注|	   86
反经|			 4211
公孙龙子|		   73
管子|			 6266
鬼谷子|		  385
韩非子|		 4325
淮南子|		 2669
黄帝内经|	 6162
皇帝四经|		  243
将苑|			  100
金刚经|		  193
孔子家语|		  138
老子|			  398
了凡四训|		   31
礼记|			 4917
列子|			 1735
六韬|			  693
六祖坛经|		  949
论语|			  988
吕氏春秋|	 2473
孟子|			 1654
梦溪笔谈| 		 1280
墨子|		 2921
千字文|		   82
清史稿|		 1604
三字经|		  234
山海经|		  919
伤寒论|		  712
商君书|		  916
尚书|		 1048
世说新语|		 3044
司马法|		  132
搜神记|		 1963
搜神后记|		  540
素书|			   61
孙膑兵法|		  230
孙子兵法|		  338
天工开物|		  807
尉缭子|		  226
文昌孝经|		  194
文心雕龙|		 1388
吴子|			  136
孝经|		      102	 
笑林广记|		 1496
荀子|			 3131 
颜氏家训|		  510
仪礼|			 2495
易传|			  711
逸周书|		 1505
战国策|		 3318
贞观政要|		 1291
中庸|			  206
周礼|			 2026
周易|			  460
庄子|			 1698
百战奇略|		  800
论衡| 1.19w
智囊|2165
罗织经|188
朱子家训|31
抱朴子|217
地藏经|547
国语|3841
容斋随笔|2921
幼学琼林|1372
三略|268
围炉夜话|387
冰鉴|120


如果您使用该语料库，请注明出处：https://github.com/NiuTrans/Classical-Modern

感谢为该语料库做出贡献的成员：丁佳鹏、杨文权、刘晓晴、曹润柘、罗应峰。
```
```

## Training procedure

在英伟达16G显卡训练了 4 天整，共计68 次。

[文言文数据集](https://huggingface.co/datasets/supermy/Classical-Modern) 训练数据. Helsinki-NLP [Helsinki-NLP](Helsinki-NLP/opus-mt-zh-en) 模型:


```

###  entry and citation info

```

```