ClassCat commited on
Commit
c86a6b4
·
1 Parent(s): 1e22941

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +43 -0
README.md ADDED
@@ -0,0 +1,43 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language: ja
3
+ license: cc-by-sa-4.0
4
+ datasets:
5
+ - wikipedia
6
+ - cc100
7
+ widget:
8
+ - text: 天気予報によれば明日は
9
+ - text: サッカー日本代表はベルギーに
10
+ - text: 日本人サッカー選手が W 杯で
11
+ ---
12
+
13
+ ## GPT2 Japanese base model (version 2)
14
+
15
+ ### Training Data
16
+
17
+ * [wiki40b/ja](https://www.tensorflow.org/datasets/catalog/wiki40b#wiki40bja) (Japanese Wikipedia)
18
+ * Subset of [CC-100/ja](https://data.statmt.org/cc-100/) : Monolingual Datasets from Web Crawl Data
19
+
20
+ ### Usage
21
+
22
+ ```python
23
+ from transformers import pipeline
24
+ generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese')
25
+ generator("今度の連休の天気は", max_length=50, num_return_sequences=5)
26
+ ```
27
+
28
+
29
+ ## (Japanese description) GPT2 日本語 ベース・モデル (バージョン 2)
30
+
31
+ ### 訓練データ
32
+
33
+ * [wiki40b/ja](https://www.tensorflow.org/datasets/catalog/wiki40b#wiki40bja) (日本語 Wikipedia)
34
+ * [CC-100/ja](https://data.statmt.org/cc-100/) のサブセット : Web クロールデータからの単一言語データセット。
35
+
36
+
37
+ ### 使用方法
38
+
39
+ ```python
40
+ from transformers import pipeline
41
+ generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese')
42
+ generator("今度の連休の天気は", max_length=50, num_return_sequences=5)
43
+ ```