boimbukanbaim commited on
Commit
75bb101
1 Parent(s): 8a10fa6

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +85 -9
README.md CHANGED
@@ -3,9 +3,42 @@ license: mit
3
  base_model: cahya/distilbert-base-indonesian
4
  tags:
5
  - generated_from_trainer
 
6
  model-index:
7
  - name: distilbert-indonesian-squad
8
  results: []
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
9
  ---
10
 
11
  <!-- This model card has been generated automatically according to the information the Trainer had access to. You
@@ -13,23 +46,66 @@ should probably proofread and complete it, then remove this comment. -->
13
 
14
  # distilbert-indonesian-squad
15
 
16
- This model is a fine-tuned version of [cahya/distilbert-base-indonesian](https://huggingface.co/cahya/distilbert-base-indonesian) on the None dataset.
17
  It achieves the following results on the evaluation set:
18
  - Loss: 2.0067
19
 
20
- ## Model description
21
 
22
- More information needed
23
 
24
- ## Intended uses & limitations
25
 
26
- More information needed
27
 
28
- ## Training and evaluation data
29
 
30
- More information needed
31
 
32
- ## Training procedure
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
33
 
34
  ### Training hyperparameters
35
 
@@ -56,4 +132,4 @@ The following hyperparameters were used during training:
56
  - Transformers 4.33.2
57
  - Pytorch 2.0.0
58
  - Datasets 2.1.0
59
- - Tokenizers 0.13.3
 
3
  base_model: cahya/distilbert-base-indonesian
4
  tags:
5
  - generated_from_trainer
6
+ - distilbert
7
  model-index:
8
  - name: distilbert-indonesian-squad
9
  results: []
10
+ language:
11
+ - id
12
+ pipeline_tag: question-answering
13
+ widget:
14
+ - text: Apa itu derivatif?
15
+ context: >-
16
+ Dalam matematika, turunan atau derivatif dari sebuah fungsi adalah cara
17
+ mengukur sensitivitas perubahan nilai fungsi terhadap perubahan pada nilai
18
+ variabelnya. Sebagai contoh, turunan dari posisi sebuah benda bergerak
19
+ terhadap waktu mengukur kecepatan benda bergerak ketika waktu berjalan.
20
+ Turunan adalah alat penting dalam kalkulus. Turunan sebuah fungsi satu
21
+ variabel di suatu titik, jika itu ada, adalah kemiringan dari garis singgung
22
+ dari grafik fungsi di titik tersebut. Garis singgung adalah hampiran
23
+ (aproksimasi) linear terbaik dari fungsi di sekitar titik tersebut. Konsep
24
+ turunan dapat diperumum untuk fungsi multivariabel. Dalam perumuman ini,
25
+ turunan dianggap sebagai transformasi linear, dengan translasi yang sesuai,
26
+ menghasilkan hampiran linear dari grafik fungsi multivariabel tersebut.
27
+ Matriks Jacobi adalah matriks yang merepresentasikan transformasi linear
28
+ terhadap suatu basis yang ditentukan. Matriks ini dapat ditentukan dengan
29
+ turunan parsial dari variabel-variabel independen. Pada fungsi multivariabel
30
+ bernilai real, matriks Jacobi tereduksi menjadi vektor gradien. Proses
31
+ menemukan turunan disebut diferensiasi. Kebalikan proses ini disebut dengan
32
+ antiturunan. Teorema fundamental kalkulus menyatakan hubungan diferensiasi
33
+ dengan integrasi. Turunan dan integral adalah dua operasi dasar dalam
34
+ kalkulus satu-variabel. Konsep turunan fungsi yang universal banyak
35
+ digunakan dalam berbagai cabang matematika maupun bidang ilmu yang lain.
36
+ Dalam bidang ekonomi, turunan digunakan untuk menghitung biaya marginal,
37
+ total penerimaan, dan biaya produksi. Bidang biologi menggunakan turunan
38
+ untuk menghitung laju pertumbuhan mikroorganisme, dalam bidang fisika untuk
39
+ menghitung kepadatan kawat, dalam bidang kimia untuk menghitung laju
40
+ pemisahan, dalam bidang geografi untuk menghitung laju pertumbuhan penduduk,
41
+ dan masih banyak lagi.
42
  ---
43
 
44
  <!-- This model card has been generated automatically according to the information the Trainer had access to. You
 
46
 
47
  # distilbert-indonesian-squad
48
 
49
+ This model is a fine-tuned version of [cahya/distilbert-base-indonesian](https://huggingface.co/cahya/distilbert-base-indonesian) on the [Translated SQuAD2.0](https://github.com/Wikidepia/indonesian_datasets/tree/master/question-answering/squad) dataset for **Q&A** downstream task.
50
  It achieves the following results on the evaluation set:
51
  - Loss: 2.0067
52
 
53
+ **Model Size** (after training): 270mb
54
 
55
+ ## Details of Indonesian DistilBERT base (from their documentation)
56
 
57
+ This model is a distilled version of the [Indonesian BERT base model](https://huggingface.co/cahya/bert-base-indonesian-1.5G). This model is uncased.
58
 
59
+ This is one of several other language models that have been pre-trained with indonesian datasets. More detail about its usage on downstream tasks (text classification, text generation, etc) is available at [Transformer based Indonesian Language Models](https://github.com/cahya-wirawan/indonesian-language-models/tree/master/Transformers).
60
 
61
+ ## Details of the downstream task (Q&A) - Dataset
62
 
63
+ SQuAD2.0 combines the 100,000 questions in SQuAD1.1 with over 50,000 unanswerable questions written adversarially by crowdworkers to look similar to answerable ones. To do well on SQuAD2.0, systems must not only answer questions when possible, but also determine when no answer is supported by the paragraph and abstain from answering.
64
 
65
+ | Dataset | Split | # samples |
66
+ | -------- | ----- | --------- |
67
+ | SQuAD2.0 | train | 130k |
68
+ | SQuAD2.0 | eval | 12.3k |
69
+
70
+ ## Model Training
71
+
72
+ The model was trained on Kaggle's T4 GPU x2 and 13GB of RAM.
73
+
74
+ ## Simple Usage (Using 🤗 Pipeline)
75
+
76
+ ```py
77
+ from transformers import pipeline
78
+
79
+ qa_pipeline = pipeline(
80
+ "question-answering",
81
+ model="boimbukanbaim/indonesian-distilbert-finetuned-squad",
82
+ tokenizer="boimbukanbaim/indonesian-distilbert-finetuned-squad"
83
+ )
84
+
85
+ qa_pipeline({
86
+ 'context': """
87
+ Dalam matematika, turunan atau derivatif dari sebuah fungsi adalah cara mengukur sensitivitas perubahan nilai fungsi terhadap perubahan pada nilai variabelnya. Sebagai contoh, turunan dari posisi sebuah benda bergerak terhadap waktu mengukur kecepatan benda bergerak ketika waktu berjalan. Turunan adalah alat penting dalam kalkulus.
88
+
89
+ Turunan sebuah fungsi satu variabel di suatu titik, jika itu ada, adalah kemiringan dari garis singgung dari grafik fungsi di titik tersebut. Garis singgung adalah hampiran (aproksimasi) linear terbaik dari fungsi di sekitar titik tersebut. Konsep turunan dapat diperumum untuk fungsi multivariabel. Dalam perumuman ini, turunan dianggap sebagai transformasi linear, dengan translasi yang sesuai, menghasilkan hampiran linear dari grafik fungsi multivariabel tersebut. Matriks Jacobi adalah matriks yang merepresentasikan transformasi linear terhadap suatu basis yang ditentukan. Matriks ini dapat ditentukan dengan turunan parsial dari variabel-variabel independen. Pada fungsi multivariabel bernilai real, matriks Jacobi tereduksi menjadi vektor gradien.
90
+
91
+ Proses menemukan turunan disebut diferensiasi. Kebalikan proses ini disebut dengan antiturunan. Teorema fundamental kalkulus menyatakan hubungan diferensiasi dengan integrasi. Turunan dan integral adalah dua operasi dasar dalam kalkulus satu-variabel.
92
+
93
+ Konsep turunan fungsi yang universal banyak digunakan dalam berbagai cabang matematika maupun bidang ilmu yang lain. Dalam bidang ekonomi, turunan digunakan untuk menghitung biaya marginal, total penerimaan, dan biaya produksi. Bidang biologi menggunakan turunan untuk menghitung laju pertumbuhan mikroorganisme, dalam bidang fisika untuk menghitung kepadatan kawat, dalam bidang kimia untuk menghitung laju pemisahan, dalam bidang geografi untuk menghitung laju pertumbuhan penduduk, dan masih banyak lagi.
94
+ """,
95
+ 'question': "Apa itu derivatif?"
96
+ })
97
+ ```
98
+
99
+ *output:*
100
+
101
+ ```py
102
+ {
103
+ 'score': 0.1216660588979721,
104
+ 'start': 61,
105
+ 'end': 159,
106
+ 'answer': 'adalah cara mengukur sensitivitas perubahan nilai fungsi terhadap perubahan pada nilai variabelnya'
107
+ }
108
+ ```
109
 
110
  ### Training hyperparameters
111
 
 
132
  - Transformers 4.33.2
133
  - Pytorch 2.0.0
134
  - Datasets 2.1.0
135
+ - Tokenizers 0.13.3