TARARARAK commited on
Commit
3bb6b38
·
verified ·
1 Parent(s): d401a33

Upload folder using huggingface_hub

Browse files
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 1024,
3
+ "pooling_mode_cls_token": true,
4
+ "pooling_mode_mean_tokens": false,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,482 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: nlpai-lab/KURE-v1
3
+ library_name: sentence-transformers
4
+ pipeline_tag: sentence-similarity
5
+ tags:
6
+ - sentence-transformers
7
+ - sentence-similarity
8
+ - feature-extraction
9
+ - generated_from_trainer
10
+ - dataset_size:3609
11
+ - loss:ContrastiveLoss
12
+ widget:
13
+ - source_sentence: 한동대학교의 입학시기는 언제인가요?
14
+ sentences:
15
+ - '제 82 조 (장애학생 지원)
16
+
17
+ 장애학생에 대하여는 「장애인 등에 대한 특수교육법」등 관련법에 따라 교육 활동에 필요한 다음 각 호의 편의를 제공한다.
18
+
19
+ 각종 학습 관련 지원.
20
+
21
+ 교육지원인력 배치 등의 인적 지원.
22
+
23
+ 입학전형 등 관련 지원.
24
+
25
+ 수업 등의 정보접근 지원.
26
+
27
+ 「장애인·노인·임산부 등의 편의증진보장에 관한 법률」 제2조 제2호에 따른 편의시설 설치 지원.
28
+
29
+ 그 밖의 장애학생 기타 교육활동 지원.
30
+
31
+ 위의 제1항과 관련한 장애학생 지원에 대한 세부사항은 장애학생지원센터 규정에 따른다.'
32
+ - '제 64 조 (휴학자의 납입금)
33
+
34
+ 휴학자에 대하여는 다음 학기 이후의 휴학기간중의 납입금을 면제 한다.
35
+
36
+ 다만, 당해학기 개강일전에 휴학한 자는 그 학기부터 면제한다.
37
+
38
+ 납입금을 납입하고 당해학기 휴학한 자의 납입금은 휴학시점에 따라 복학시 등록금을 차등 면제한다.
39
+
40
+ 이때 면제 등록금에 대하여는 증액된 납입금을 징수하지 아니한다.
41
+
42
+ 제2항의 휴학시점에 따라 복학시 등록금을 차등 면제하는 기준은 학사운영규정으로 정한다.'
43
+ - '제 85 조 (글로벌 미래 평생교육원 학점은행제 운영)
44
+
45
+ 「학점은행 등에 관한 법률」에 따라 평가인정을 받는 학습과정을 이수한 자 등에게 학점인정을 통하여 학력인정의 기회를 부여하는 학점은행제를 운영할
46
+ 수 있다.
47
+
48
+ 학점은행제 운영과 관련하여 학점의 인정범위 및 학적관리 등에 관한 사항은 총장이 따로 정한다.'
49
+ - source_sentence: 복학하려면 언제까지 신청해야 해?
50
+ sentences:
51
+ - '제 31 조 (교과과정)
52
+
53
+ 교과과정의 편성과 운영에 관한 사항은 총장이 따로 정한다.
54
+
55
+ 재학중 성적이 우수한 학생을 선발하여 학사학위과정과 석사학위과정을 상호연계하는 학.석사 연계과정을 이수하게 할 수 있다.
56
+
57
+ 학사학위과정의 3학년 이상 교과목 또는 석사학위과정의 교과목 중 학·석사 공통인정과목을 지정할 수 있고, 이를 이수한 학생은 학사학위과정 졸업학점을
58
+ 초과하는 학점 범위내에서 석사학위과정 학점으로 인정 할 수 있다.
59
+
60
+ 학.석사연계과정 시행에 관한 세부사항은 총장이 따로 정한다.
61
+
62
+ 공학교육인증제 교육과정을 운영하는 학부는 총장의 승인을 얻어 일반교육과정의 전공명과 구분되는 별도의 인증제 전공명을 부여할 수 있다.
63
+
64
+ 공학교육인증제 교육과정의 시행에 관한 세부사항은 총장이 따로 정한다. 융복합 미래 인재 양성을 위해 고등교육법 시행령 제 12조 의2에 근거한
65
+ 소단위전공 교육과정인 모듈 교육과정을 둘 수 있으며, 모듈 교육과정 시행에 관한 세부사항은 총장이 따로 정한다.'
66
+ - '제 25 조 (휴학)
67
+
68
+ 학생은 재학 중 휴학할 수 있으며 시행에 관한 세부 사항은 학사운영규정으로 정한다.
69
+
70
+ 제23조 및 제24조 에 따른 등록(등록금 납부 및 수강신청)을 완료하지 못한 자는 당해학기 미등록휴학 처리한다.
71
+
72
+ 다만, 휴학기간이 3년 이상이고 본인의 의사가 없는 경우 제적처리한다.
73
+
74
+ 질병 등으로 타 학생에게 현저히 피해를 주어 팀 활동이나 학생생활관 입주 등 공동체 생활이 어렵다고 판단되는 자는 심리검사 또는 상담이나 치료를
75
+ 받아야 한다.
76
+
77
+ 이를 거부하거나 권고휴학을 거부하는 자에게 총장은 학생지도위원회의 심의를 거쳐 휴학을 명할 수 있으며, 이에 관한 세부사항은 학사운영규정으로
78
+ 정한다.'
79
+ - '제 50 조 (공개강좌)
80
+
81
+ 교양, 학술 또는 실무에 관한 이론과 기술을 보급하기 위하여 공개강좌를 둘 수 있다.
82
+
83
+ 공개강좌에 관한 규정은 총장이 따로 정한다.'
84
+ - source_sentence: 등록금을 기한 내에 다 못 내면 어떻게 돼?
85
+ sentences:
86
+ - '제 36 조 (방송·통신에 의한 수업 운영)
87
+
88
+ 방송·통신에 의한 수업(이하 “원격수업”이라 한다)을 운영할 수 있으며, 그 운영에 관한 세부사항은 총장이 따로 정한다.
89
+
90
+ 고등교육법 제23조 에 의하여 학점을 인정하는 경우에는 이 대학교 학점으로 인정할 수 있다.
91
+
92
+ 제1항의 운영에 관한 세부사항은 총장이 따로 정한다.'
93
+ - '제 1 조 (목적)
94
+
95
+ 이 학칙은 한동대학교(이하 "이 대학교"라 한다) 교훈의 실천과 교육이념, 교육목적 및 교육목표를 달성하기 위한 교육조직, 학사운영 등에 관한
96
+ 사항을 규정함을 목적으로 한다.'
97
+ - '제 52 조 (총학생회)
98
+
99
+ 건전한 학풍을 조성하고 학생자치활동을 신장시키기 위하여 한동대학교 총학생회(이하 "총학생회"라 한다)를 둔다.
100
+
101
+ 총학생회의 조직과 운영에 관한 사항은 총장의 승인을 얻어 학생회칙으로 따로 정한다.
102
+
103
+ 전시·사변 또는 이에 준하는 국가 비상사태시에는 그 활동이 정지된다.'
104
+ - source_sentence: 한동대학교에서 부득이한 사유로 시험을 보지 못할 경우 어떻게 해야 하나요?
105
+ sentences:
106
+ - '제 1 조 (목적)
107
+
108
+ 이 학칙은 한동대학교(이하 "이 대학교"라 한다) 교훈의 실천과 교육이념, 교육목적 및 교육목표를 달성하기 위한 교육조직, 학사운영 등에 관한
109
+ 사항을 규정함을 목적으로 한다.'
110
+ - '제 85 조 (글로벌 미래 평생교육원 학점은행제 운영)
111
+
112
+ 「학점은행 등에 관한 법률」에 따라 평가인정을 받는 학습과정을 이수한 자 등에게 학점인정을 통하여 학력인정의 기회를 부여하는 학점은행제를 운영할
113
+ 수 있다.
114
+
115
+ 학점은행제 운영과 관련하여 학점의 인정범위 및 학적관리 등에 관한 사항은 총장이 따로 정한다.'
116
+ - '제목: 한동대학교 학칙
117
+
118
+ 소관부서: 교무팀 1073, 1074
119
+
120
+ 학교웹페이지: https://rule.handong.edu'
121
+ - source_sentence: 교수회에서 출석인원 과반수의 찬성이 필요한 이유가 뭐야?
122
+ sentences:
123
+ - '제 77 조 (회의)
124
+
125
+ 교무회의는 재적인원 과반수의 출석과 출석인원 과반수의 찬성으로 의결한다.'
126
+ - '제 27 조 (자퇴)
127
+
128
+ 자퇴코자 하는 자는 보증인이 연서한 사유서를 제출하여 총장의 허가를 받아야 한다.'
129
+ - '제 22 조 (보증인)
130
+
131
+ 대학 입학 전형에 따라 보증인을 둘 수 있으며, 보증인은 당해 학생의 보호자이어야 하며 부득이한 경우에는 재학 중 학비, 기타 신상에 관한
132
+ 일체의 책임을 질 수 있는 자로 한다.
133
+
134
+ 보증인의 주소 및 신상의 변동이 있을 때에는 즉시 신고하여야 한다.'
135
+ ---
136
+
137
+ # SentenceTransformer based on nlpai-lab/KURE-v1
138
+
139
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [nlpai-lab/KURE-v1](https://huggingface.co/nlpai-lab/KURE-v1). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
140
+
141
+ ## Model Details
142
+
143
+ ### Model Description
144
+ - **Model Type:** Sentence Transformer
145
+ - **Base model:** [nlpai-lab/KURE-v1](https://huggingface.co/nlpai-lab/KURE-v1) <!-- at revision d14c8a9423946e268a0c9952fecf3a7aabd73bd9 -->
146
+ - **Maximum Sequence Length:** 1024 tokens
147
+ - **Output Dimensionality:** 1024 dimensions
148
+ - **Similarity Function:** Cosine Similarity
149
+ <!-- - **Training Dataset:** Unknown -->
150
+ <!-- - **Language:** Unknown -->
151
+ <!-- - **License:** Unknown -->
152
+
153
+ ### Model Sources
154
+
155
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
156
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
157
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
158
+
159
+ ### Full Model Architecture
160
+
161
+ ```
162
+ SentenceTransformer(
163
+ (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
164
+ (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
165
+ (2): Normalize()
166
+ )
167
+ ```
168
+
169
+ ## Usage
170
+
171
+ ### Direct Usage (Sentence Transformers)
172
+
173
+ First install the Sentence Transformers library:
174
+
175
+ ```bash
176
+ pip install -U sentence-transformers
177
+ ```
178
+
179
+ Then you can load this model and run inference.
180
+ ```python
181
+ from sentence_transformers import SentenceTransformer
182
+
183
+ # Download from the 🤗 Hub
184
+ model = SentenceTransformer("sentence_transformers_model_id")
185
+ # Run inference
186
+ sentences = [
187
+ '교수회에서 출석인원 과반수의 찬성이 필요한 이유가 뭐야?',
188
+ '제 77 조 (회의)\n교무회의는 재적인원 과반수의 출석과 출석인원 과반수의 찬성으로 의결한다.',
189
+ '제 22 조 (보증인)\n대학 입학 전형에 따라 보증인을 둘 수 있으며, 보증인은 당해 학생의 보호자이어야 하며 부득이한 경우에는 재학 중 학비, 기타 신상에 관한 일체의 책임을 질 수 있는 자로 한다.\n보증인의 주소 및 신상의 변동이 있을 때에는 즉시 신고하여야 한다.',
190
+ ]
191
+ embeddings = model.encode(sentences)
192
+ print(embeddings.shape)
193
+ # [3, 1024]
194
+
195
+ # Get the similarity scores for the embeddings
196
+ similarities = model.similarity(embeddings, embeddings)
197
+ print(similarities.shape)
198
+ # [3, 3]
199
+ ```
200
+
201
+ <!--
202
+ ### Direct Usage (Transformers)
203
+
204
+ <details><summary>Click to see the direct usage in Transformers</summary>
205
+
206
+ </details>
207
+ -->
208
+
209
+ <!--
210
+ ### Downstream Usage (Sentence Transformers)
211
+
212
+ You can finetune this model on your own dataset.
213
+
214
+ <details><summary>Click to expand</summary>
215
+
216
+ </details>
217
+ -->
218
+
219
+ <!--
220
+ ### Out-of-Scope Use
221
+
222
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
223
+ -->
224
+
225
+ <!--
226
+ ## Bias, Risks and Limitations
227
+
228
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
229
+ -->
230
+
231
+ <!--
232
+ ### Recommendations
233
+
234
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
235
+ -->
236
+
237
+ ## Training Details
238
+
239
+ ### Training Dataset
240
+
241
+ #### Unnamed Dataset
242
+
243
+
244
+ * Size: 3,609 training samples
245
+ * Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
246
+ * Approximate statistics based on the first 1000 samples:
247
+ | | sentence_0 | sentence_1 | label |
248
+ |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:---------------------------------------------------------------|
249
+ | type | string | string | float |
250
+ | details | <ul><li>min: 9 tokens</li><li>mean: 17.35 tokens</li><li>max: 29 tokens</li></ul> | <ul><li>min: 18 tokens</li><li>mean: 104.74 tokens</li><li>max: 566 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.09</li><li>max: 1.0</li></ul> |
251
+ * Samples:
252
+ | sentence_0 | sentence_1 | label |
253
+ |:--------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
254
+ | <code>한동대학교 교무회의는 어떻게 의결되나요?</code> | <code>제 13 조 (입학전형)<br>입학전형은 당해연도 한국대학교육협의회의 대학입학전형기본사항, 이 대학교의 대학입학전형시행계획과 모집요강에 따라 선발한다.<br>입학전형의 전형요소와 일정등 상세한 사항은 총장이 따로 정한다.<br>입학전형을 시행함에 있어 입학사정관제로 학생을 선발할 수 있으며, 입학사정관제의 운영에 관한 세부사항은 총장이 따로 정한다.</code> | <code>0.0</code> |
255
+ | <code>한동대학교 교수회는 누가 소집하나요?</code> | <code>제 26 조 (복학)<br>복학의 절차 및 시기 등에 관하여는 학사운영규정으로 정한다.<br>제25조 제5항에 의거 미등록휴학된 자는 다음학기 제1항의 절차에 따라 복학하거나 휴학하여야 한다.</code> | <code>0.0</code> |
256
+ | <code>간행물을 발간, 배포 및 게시할 때 규정은 무엇인가요?</code> | <code>제 7 조 (학년도 및 학기)<br>학년도는 3월 1일부터 다음해 2월말일까지로 한다.<br>학년도는 다음��� 같이 두 학기로 나누는 것을 원칙으로 한다.<br>다만, 수업은 2주를 초과하지 않는 범위내에서 학기 개시일 전에 개강할 수 있다.<br>제1학기 : 3월 1일부터 8월 31일까지.<br>제2학기 : 9월 1일부터 다음해 2월 말일까지.<br>하기 및 동기 방학기간 중에 1개 이상의 계절학기를 둘 수 있으며, 계절학기 운영에 관한 사항은 총장이 따로 정한다.<br>정규학기 중 학생들이 자기주도적 학습활동을 할 수 있는 자유학기를 둘 수 있으며, 자유학기 운영에 관한 사항은 총장이 따로 정한다.<br>정규학기 및 계절학기 중 학생들이 진로적성 탐색에 집중하거나 문제발굴과 해결을 위한 참여적 학습활동 위주의 혁신학기를 둘 수 있으며, 혁신학기 운영에 관한 사항은 총장이 따로 정한다.</code> | <code>0.0</code> |
257
+ * Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
258
+ ```json
259
+ {
260
+ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
261
+ "margin": 0.3,
262
+ "size_average": true
263
+ }
264
+ ```
265
+
266
+ ### Training Hyperparameters
267
+ #### Non-Default Hyperparameters
268
+
269
+ - `eval_strategy`: steps
270
+ - `per_device_train_batch_size`: 2
271
+ - `per_device_eval_batch_size`: 2
272
+ - `num_train_epochs`: 10
273
+ - `fp16`: True
274
+ - `multi_dataset_batch_sampler`: round_robin
275
+
276
+ #### All Hyperparameters
277
+ <details><summary>Click to expand</summary>
278
+
279
+ - `overwrite_output_dir`: False
280
+ - `do_predict`: False
281
+ - `eval_strategy`: steps
282
+ - `prediction_loss_only`: True
283
+ - `per_device_train_batch_size`: 2
284
+ - `per_device_eval_batch_size`: 2
285
+ - `per_gpu_train_batch_size`: None
286
+ - `per_gpu_eval_batch_size`: None
287
+ - `gradient_accumulation_steps`: 1
288
+ - `eval_accumulation_steps`: None
289
+ - `torch_empty_cache_steps`: None
290
+ - `learning_rate`: 5e-05
291
+ - `weight_decay`: 0.0
292
+ - `adam_beta1`: 0.9
293
+ - `adam_beta2`: 0.999
294
+ - `adam_epsilon`: 1e-08
295
+ - `max_grad_norm`: 1
296
+ - `num_train_epochs`: 10
297
+ - `max_steps`: -1
298
+ - `lr_scheduler_type`: linear
299
+ - `lr_scheduler_kwargs`: {}
300
+ - `warmup_ratio`: 0.0
301
+ - `warmup_steps`: 0
302
+ - `log_level`: passive
303
+ - `log_level_replica`: warning
304
+ - `log_on_each_node`: True
305
+ - `logging_nan_inf_filter`: True
306
+ - `save_safetensors`: True
307
+ - `save_on_each_node`: False
308
+ - `save_only_model`: False
309
+ - `restore_callback_states_from_checkpoint`: False
310
+ - `no_cuda`: False
311
+ - `use_cpu`: False
312
+ - `use_mps_device`: False
313
+ - `seed`: 42
314
+ - `data_seed`: None
315
+ - `jit_mode_eval`: False
316
+ - `use_ipex`: False
317
+ - `bf16`: False
318
+ - `fp16`: True
319
+ - `fp16_opt_level`: O1
320
+ - `half_precision_backend`: auto
321
+ - `bf16_full_eval`: False
322
+ - `fp16_full_eval`: False
323
+ - `tf32`: None
324
+ - `local_rank`: 0
325
+ - `ddp_backend`: None
326
+ - `tpu_num_cores`: None
327
+ - `tpu_metrics_debug`: False
328
+ - `debug`: []
329
+ - `dataloader_drop_last`: False
330
+ - `dataloader_num_workers`: 0
331
+ - `dataloader_prefetch_factor`: None
332
+ - `past_index`: -1
333
+ - `disable_tqdm`: False
334
+ - `remove_unused_columns`: True
335
+ - `label_names`: None
336
+ - `load_best_model_at_end`: False
337
+ - `ignore_data_skip`: False
338
+ - `fsdp`: []
339
+ - `fsdp_min_num_params`: 0
340
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
341
+ - `fsdp_transformer_layer_cls_to_wrap`: None
342
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
343
+ - `deepspeed`: None
344
+ - `label_smoothing_factor`: 0.0
345
+ - `optim`: adamw_torch
346
+ - `optim_args`: None
347
+ - `adafactor`: False
348
+ - `group_by_length`: False
349
+ - `length_column_name`: length
350
+ - `ddp_find_unused_parameters`: None
351
+ - `ddp_bucket_cap_mb`: None
352
+ - `ddp_broadcast_buffers`: False
353
+ - `dataloader_pin_memory`: True
354
+ - `dataloader_persistent_workers`: False
355
+ - `skip_memory_metrics`: True
356
+ - `use_legacy_prediction_loop`: False
357
+ - `push_to_hub`: False
358
+ - `resume_from_checkpoint`: None
359
+ - `hub_model_id`: None
360
+ - `hub_strategy`: every_save
361
+ - `hub_private_repo`: False
362
+ - `hub_always_push`: False
363
+ - `gradient_checkpointing`: False
364
+ - `gradient_checkpointing_kwargs`: None
365
+ - `include_inputs_for_metrics`: False
366
+ - `include_for_metrics`: []
367
+ - `eval_do_concat_batches`: True
368
+ - `fp16_backend`: auto
369
+ - `push_to_hub_model_id`: None
370
+ - `push_to_hub_organization`: None
371
+ - `mp_parameters`:
372
+ - `auto_find_batch_size`: False
373
+ - `full_determinism`: False
374
+ - `torchdynamo`: None
375
+ - `ray_scope`: last
376
+ - `ddp_timeout`: 1800
377
+ - `torch_compile`: False
378
+ - `torch_compile_backend`: None
379
+ - `torch_compile_mode`: None
380
+ - `dispatch_batches`: None
381
+ - `split_batches`: None
382
+ - `include_tokens_per_second`: False
383
+ - `include_num_input_tokens_seen`: False
384
+ - `neftune_noise_alpha`: None
385
+ - `optim_target_modules`: None
386
+ - `batch_eval_metrics`: False
387
+ - `eval_on_start`: False
388
+ - `use_liger_kernel`: False
389
+ - `eval_use_gather_object`: False
390
+ - `average_tokens_across_devices`: False
391
+ - `prompts`: None
392
+ - `batch_sampler`: batch_sampler
393
+ - `multi_dataset_batch_sampler`: round_robin
394
+
395
+ </details>
396
+
397
+ ### Training Logs
398
+ | Epoch | Step | Training Loss |
399
+ |:------:|:----:|:-------------:|
400
+ | 0.5537 | 500 | 0.004 |
401
+ | 1.0 | 903 | - |
402
+ | 1.1074 | 1000 | 0.0021 |
403
+ | 1.6611 | 1500 | 0.0017 |
404
+ | 2.0 | 1806 | - |
405
+ | 2.2148 | 2000 | 0.0013 |
406
+ | 2.7685 | 2500 | 0.0008 |
407
+ | 3.0 | 2709 | - |
408
+ | 3.3223 | 3000 | 0.0007 |
409
+ | 3.8760 | 3500 | 0.0005 |
410
+ | 4.0 | 3612 | - |
411
+ | 4.4297 | 4000 | 0.0003 |
412
+ | 4.9834 | 4500 | 0.0004 |
413
+ | 5.0 | 4515 | - |
414
+ | 5.5371 | 5000 | 0.0002 |
415
+ | 6.0 | 5418 | - |
416
+ | 6.0908 | 5500 | 0.0002 |
417
+ | 6.6445 | 6000 | 0.0002 |
418
+ | 7.0 | 6321 | - |
419
+ | 7.1982 | 6500 | 0.0001 |
420
+ | 7.7519 | 7000 | 0.0001 |
421
+ | 8.0 | 7224 | - |
422
+ | 8.3056 | 7500 | 0.0001 |
423
+ | 8.8594 | 8000 | 0.0001 |
424
+
425
+
426
+ ### Framework Versions
427
+ - Python: 3.10.13
428
+ - Sentence Transformers: 3.3.1
429
+ - Transformers: 4.46.2
430
+ - PyTorch: 2.0.1+cu118
431
+ - Accelerate: 0.34.2
432
+ - Datasets: 3.0.0
433
+ - Tokenizers: 0.20.1
434
+
435
+ ## Citation
436
+
437
+ ### BibTeX
438
+
439
+ #### Sentence Transformers
440
+ ```bibtex
441
+ @inproceedings{reimers-2019-sentence-bert,
442
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
443
+ author = "Reimers, Nils and Gurevych, Iryna",
444
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
445
+ month = "11",
446
+ year = "2019",
447
+ publisher = "Association for Computational Linguistics",
448
+ url = "https://arxiv.org/abs/1908.10084",
449
+ }
450
+ ```
451
+
452
+ #### ContrastiveLoss
453
+ ```bibtex
454
+ @inproceedings{hadsell2006dimensionality,
455
+ author={Hadsell, R. and Chopra, S. and LeCun, Y.},
456
+ booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
457
+ title={Dimensionality Reduction by Learning an Invariant Mapping},
458
+ year={2006},
459
+ volume={2},
460
+ number={},
461
+ pages={1735-1742},
462
+ doi={10.1109/CVPR.2006.100}
463
+ }
464
+ ```
465
+
466
+ <!--
467
+ ## Glossary
468
+
469
+ *Clearly define terms in order to be accessible across audiences.*
470
+ -->
471
+
472
+ <!--
473
+ ## Model Card Authors
474
+
475
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
476
+ -->
477
+
478
+ <!--
479
+ ## Model Card Contact
480
+
481
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
482
+ -->
config.json ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "nlpai-lab/KURE-v1",
3
+ "architectures": [
4
+ "XLMRobertaModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_id": 2,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 1024,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 4096,
15
+ "layer_norm_eps": 1e-05,
16
+ "max_position_embeddings": 8194,
17
+ "model_type": "xlm-roberta",
18
+ "num_attention_heads": 16,
19
+ "num_hidden_layers": 24,
20
+ "output_past": true,
21
+ "pad_token_id": 1,
22
+ "position_embedding_type": "absolute",
23
+ "torch_dtype": "float32",
24
+ "transformers_version": "4.46.2",
25
+ "type_vocab_size": 1,
26
+ "use_cache": true,
27
+ "vocab_size": 250002
28
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.3.1",
4
+ "transformers": "4.46.2",
5
+ "pytorch": "2.0.1+cu118"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1ac9f403208d402a9c585d88f7d2c745324563eb7d1b047da212e0fe31315e71
3
+ size 2271064456
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Normalize",
18
+ "type": "sentence_transformers.models.Normalize"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 1024,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6e3b8957de04e3a4ed42b1a11381556f9adad8d0d502b9dd071c75f626b28f40
3
+ size 17083053
tokenizer_config.json ADDED
@@ -0,0 +1,63 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "<s>",
45
+ "clean_up_tokenization_spaces": true,
46
+ "cls_token": "<s>",
47
+ "eos_token": "</s>",
48
+ "extra_special_tokens": {},
49
+ "mask_token": "<mask>",
50
+ "max_length": 2048,
51
+ "model_max_length": 8192,
52
+ "pad_to_multiple_of": null,
53
+ "pad_token": "<pad>",
54
+ "pad_token_type_id": 0,
55
+ "padding_side": "right",
56
+ "sep_token": "</s>",
57
+ "sp_model_kwargs": {},
58
+ "stride": 0,
59
+ "tokenizer_class": "XLMRobertaTokenizer",
60
+ "truncation_side": "right",
61
+ "truncation_strategy": "longest_first",
62
+ "unk_token": "<unk>"
63
+ }