pytorch mt5 seq2seq ja transformers text2text-generation
.gitattributes README.md config.json pytorch_model.bin special_tokens_map.json spiece.model tokenizer_config.json
---
language: "ja"
widget:
- text: "吾輩をは猫である。名前えはまだない。"
---

Google's mt5-base fine-tuned in Japanese to solve error detection and correction.

#日本語誤り訂正

- "吾輩をは猫である。名前えはまだない。"→"吾輩は猫である。名前はまだない。"
- "-small" has been trained on 20,000 text pairs.
- dataset: [link](http://nlp.ist.i.kyoto-u.ac.jp/?%E6%97%A5%E6%9C%AC%E8%AA%9EWikipedia%E5%85%A5%E5%8A%9B%E8%AA%A4%E3%82%8A%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88)
- prefix: "correction: "　（notice: single task trained.)

##参考

- "東北大学でMASKが研究をしています。"→"東北大学でMASKの研究をしています。"　ジム・キャリーを主語とした唯一のガ格が消され、ジム・キャリーは研究対象となった。易読化のために用いられる主語と動詞を近づける記法は誤り扱い？
- "東北大学でマスクが研究をしています。"→"東北大学でマスクの研究をしています。"、"東北大学でイーロン・マスクが研究をしています。"→"東北大学でイーロン・マスクが研究をしています。"、"東北大学で「イーロン・マスク」が研究をしています。"→"東北大学で「イーロン・マスク」の研究をしています。"　単語の意味も考慮されている？
- "東北大学でイマスクが研究をしています。"→"東北大学でイマスクの研究をしています。"
- "東北大学でクが研究をしています。"→"東北大学でコンピューターが研究をしています。" それはちょっと待って。
- "東北大学で ＜extra_id_0＞ の研究をしています。"→"東北大学で化学の研究をしています。"
- "東北大学で ＜extra_id_0＞ が研究をしています。"→"東北大学で工学が研究をしています。"　工学さん。
- "吾輩は ＜extra_id_0＞ である。"→"吾輩は吾輩である。"、"答えは猫です。吾輩は ＜extra_id_0＞ である。"→"答えは猫です。吾輩は猫である。"、"答えは猫です。吾輩の ＜extra_id_0＞ である。"→"答えは猫です。吾輩の心は猫である。"
- "Aは11、Bは9。Aは ＜extra_id_0＞ 。Bは ＜extra_id_1＞ 。"→"Aは11、Bは9。Aは11。Bは9。"

**check in progress**
