Init

.gitignore

@@ -0,0 +1 @@
+.DS_Store

README.md

@@ -1,3 +1,39 @@
----
-license: cc-by-nc-sa-4.0
----
+---
+language: uk
+
+datasets: Yehor/ual-topics
+
+license: cc-by-nc-sa-4.0
+---
+
+## Metrics
+
+- Epochs: 50
+- Test accuracy: 0.62500
+- F1 (MACRO): 0.46573
+
+## How to use
+
+```python
+import torch
+from transformers import AutoTokenizer, AutoModel
+
+tokenizer = AutoTokenizer.from_pretrained("Yehor/ual-topics-classifier")
+model = AutoModel.from_pretrained("Yehor/ual-topics-classifier")
+
+device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
+
+topic_classifier = pipeline(task='text-classification', model=model, tokenizer=tokenizer, device=device)
+
+question = """
+Що мені робити на ВЛК
+"""
+
+print(topic_classifier(question))
+
+question = """
+Які мої дії для отримання аліментів на дитину
+"""
+
+print(topic_classifier(question))
+```

config.json

@@ -0,0 +1,108 @@
+{
+  "_name_or_path": "Geotrend/distilbert-base-uk-cased",
+  "activation": "gelu",
+  "architectures": [
+    "DistilBertForSequenceClassification"
+  ],
+  "attention_dropout": 0.1,
+  "dim": 768,
+  "dropout": 0.1,
+  "hidden_dim": 3072,
+  "id2label": {
+    "0": "inshe",
+    "1": "ekologiya",
+    "2": "ziemielnie_pravo",
+    "3": "reklama",
+    "4": "bankivska_diialnist",
+    "5": "prava_spozhivachiv",
+    "6": "medicina",
+    "7": "spadkove_pravo",
+    "8": "immighratsiia_iemighratsiia",
+    "9": "intieliektualna_vlasnist",
+    "10": "gospodarskie_pravo",
+    "11": "pidpriemnicka_dialnist",
+    "12": "opodatkuvannia",
+    "13": "piensiiata_sotsialni_viplati",
+    "14": "viiskovie_pravo",
+    "15": "sudova_praktika",
+    "16": "kriminalnie_pravo",
+    "17": "gromadianski_pravovidnosini",
+    "18": "strakhuvannya",
+    "19": "pratsevlashtuvvannya",
+    "20": "sotsialnyj_zakhist",
+    "21": "vighotovliennia_produktsiyi_ta_nadannia_poslugh",
+    "22": "litsienzuvannia",
+    "23": "reyestraciya_likvidaciya_bankrutstvo",
+    "24": "doghovirni_vidnosini",
+    "25": "administrativnie_pravo",
+    "26": "nierukhomist",
+    "27": "prava_vnutrishno_pieriemishchienikh_osib",
+    "28": "investitsii",
+    "29": "notarialni_pytanniia",
+    "30": "avtovlasnykam",
+    "31": "zhitlovi_pravovidnosini",
+    "32": "dovircha_vlastnist",
+    "33": "dierzhavni_zakupivli",
+    "34": "simejne_pravo",
+    "35": "mytne_pravo",
+    "36": "mizhnarodni_pravovidnosini",
+    "37": "korporativnie_pravo",
+    "38": "tsivilne_pravo"
+  },
+  "initializer_range": 0.02,
+  "label2id": {
+    "administrativnie_pravo": 25,
+    "avtovlasnykam": 30,
+    "bankivska_diialnist": 4,
+    "dierzhavni_zakupivli": 33,
+    "doghovirni_vidnosini": 24,
+    "dovircha_vlastnist": 32,
+    "ekologiya": 1,
+    "gospodarskie_pravo": 10,
+    "gromadianski_pravovidnosini": 17,
+    "immighratsiia_iemighratsiia": 8,
+    "inshe": 0,
+    "intieliektualna_vlasnist": 9,
+    "investitsii": 28,
+    "korporativnie_pravo": 37,
+    "kriminalnie_pravo": 16,
+    "litsienzuvannia": 22,
+    "medicina": 6,
+    "mizhnarodni_pravovidnosini": 36,
+    "mytne_pravo": 35,
+    "nierukhomist": 26,
+    "notarialni_pytanniia": 29,
+    "opodatkuvannia": 12,
+    "pidpriemnicka_dialnist": 11,
+    "piensiiata_sotsialni_viplati": 13,
+    "pratsevlashtuvvannya": 19,
+    "prava_spozhivachiv": 5,
+    "prava_vnutrishno_pieriemishchienikh_osib": 27,
+    "reklama": 3,
+    "reyestraciya_likvidaciya_bankrutstvo": 23,
+    "simejne_pravo": 34,
+    "sotsialnyj_zakhist": 20,
+    "spadkove_pravo": 7,
+    "strakhuvannya": 18,
+    "sudova_praktika": 15,
+    "tsivilne_pravo": 38,
+    "vighotovliennia_produktsiyi_ta_nadannia_poslugh": 21,
+    "viiskovie_pravo": 14,
+    "zhitlovi_pravovidnosini": 31,
+    "ziemielnie_pravo": 2
+  },
+  "max_position_embeddings": 512,
+  "model_type": "distilbert",
+  "n_heads": 12,
+  "n_layers": 6,
+  "output_past": true,
+  "pad_token_id": 0,
+  "problem_type": "single_label_classification",
+  "qa_dropout": 0.1,
+  "seq_classif_dropout": 0.2,
+  "sinusoidal_pos_embds": false,
+  "tie_weights_": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.42.4",
+  "vocab_size": 11811
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:44424169e0a108925e133c67817b3053b2db9de8e14400f0279cb1663ee02d69
+size 210466132

tokenizer_config.json

@@ -0,0 +1 @@
+{"do_lower_case": false, "model_max_length": 512}