Text Generation
Safetensors
Spanish
Paraguay
Culture
Custom Code
Guaraní
unsloth
enpaiva commited on
Commit
f99c95e
·
verified ·
1 Parent(s): c90fc7f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +6 -3
README.md CHANGED
@@ -50,7 +50,9 @@ Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la gener
50
  - **Dataset Especializado**: Creamos un dataset exclusivo, corregido y centrado en la cultura guaraní, tomando como texto base el libro <ins>"Ñande Ypykuéra" de Narciso R. Colmán</ins>, asegurando respuestas precisas y culturalmente relevantes.
51
  - **Finetuning**: Se detallan los siguientes parametros de entrenamiento:
52
 
53
- - LoRA
 
 
54
 
55
  r = 64,
56
  target_modules = ["q_proj", "k_proj", "v_proj", "o_proj","gate_proj", "up_proj", "down_proj"],
@@ -61,8 +63,8 @@ Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la gener
61
  random_state = 42,
62
  use_rslora = False,
63
  loftq_config = None
64
-
65
- - Trainer
66
 
67
  per_device_train_batch_size = 2,
68
  gradient_accumulation_steps = 32,
@@ -78,6 +80,7 @@ Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la gener
78
  save_strategy="epoch",
79
  seed = 42,
80
  report_to="tensorboard"
 
81
 
82
  ## Usos 🛠️
83
 
 
50
  - **Dataset Especializado**: Creamos un dataset exclusivo, corregido y centrado en la cultura guaraní, tomando como texto base el libro <ins>"Ñande Ypykuéra" de Narciso R. Colmán</ins>, asegurando respuestas precisas y culturalmente relevantes.
51
  - **Finetuning**: Se detallan los siguientes parametros de entrenamiento:
52
 
53
+ ```python
54
+
55
+ ### LoRA
56
 
57
  r = 64,
58
  target_modules = ["q_proj", "k_proj", "v_proj", "o_proj","gate_proj", "up_proj", "down_proj"],
 
63
  random_state = 42,
64
  use_rslora = False,
65
  loftq_config = None
66
+
67
+ ### Trainer
68
 
69
  per_device_train_batch_size = 2,
70
  gradient_accumulation_steps = 32,
 
80
  save_strategy="epoch",
81
  seed = 42,
82
  report_to="tensorboard"
83
+ ```
84
 
85
  ## Usos 🛠️
86