Update README.md
Browse files
README.md
CHANGED
@@ -50,7 +50,9 @@ Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la gener
|
|
50 |
- **Dataset Especializado**: Creamos un dataset exclusivo, corregido y centrado en la cultura guaraní, tomando como texto base el libro <ins>"Ñande Ypykuéra" de Narciso R. Colmán</ins>, asegurando respuestas precisas y culturalmente relevantes.
|
51 |
- **Finetuning**: Se detallan los siguientes parametros de entrenamiento:
|
52 |
|
53 |
-
|
|
|
|
|
54 |
|
55 |
r = 64,
|
56 |
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj","gate_proj", "up_proj", "down_proj"],
|
@@ -61,8 +63,8 @@ Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la gener
|
|
61 |
random_state = 42,
|
62 |
use_rslora = False,
|
63 |
loftq_config = None
|
64 |
-
|
65 |
-
|
66 |
|
67 |
per_device_train_batch_size = 2,
|
68 |
gradient_accumulation_steps = 32,
|
@@ -78,6 +80,7 @@ Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la gener
|
|
78 |
save_strategy="epoch",
|
79 |
seed = 42,
|
80 |
report_to="tensorboard"
|
|
|
81 |
|
82 |
## Usos 🛠️
|
83 |
|
|
|
50 |
- **Dataset Especializado**: Creamos un dataset exclusivo, corregido y centrado en la cultura guaraní, tomando como texto base el libro <ins>"Ñande Ypykuéra" de Narciso R. Colmán</ins>, asegurando respuestas precisas y culturalmente relevantes.
|
51 |
- **Finetuning**: Se detallan los siguientes parametros de entrenamiento:
|
52 |
|
53 |
+
```python
|
54 |
+
|
55 |
+
### LoRA
|
56 |
|
57 |
r = 64,
|
58 |
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj","gate_proj", "up_proj", "down_proj"],
|
|
|
63 |
random_state = 42,
|
64 |
use_rslora = False,
|
65 |
loftq_config = None
|
66 |
+
|
67 |
+
### Trainer
|
68 |
|
69 |
per_device_train_batch_size = 2,
|
70 |
gradient_accumulation_steps = 32,
|
|
|
80 |
save_strategy="epoch",
|
81 |
seed = 42,
|
82 |
report_to="tensorboard"
|
83 |
+
```
|
84 |
|
85 |
## Usos 🛠️
|
86 |
|