Novaciano commited on
Commit
0635890
·
verified ·
1 Parent(s): 94b67af

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -1
README.md CHANGED
@@ -16,7 +16,9 @@ language:
16
  ---
17
 
18
  # ESP NSFW GRPO 1B Sin Censura
19
- Este es un modelo Llama 3.2 destilado a partir de puntos de control entrenados por GRPO combinado con un dataset NSFW personalizado e integramente traducido al español. GRPO elimina la necesidad de un modelo crítico al comparar las respuestas dentro de un grupo, lo que reduce significativamente la sobrecarga computacional simplificando los procesos usando menos RAM haciéndolo más rápido y escalable.
 
 
20
 
21
  ## ¿Que es GRPO?
22
  La optimización de políticas relativas a grupos (GRPO, por sus siglas en inglés) es un algoritmo de aprendizaje por refuerzo (RL, por sus siglas en inglés) diseñado específicamente para mejorar las capacidades de razonamiento en modelos de lenguaje grandes (LLM, por sus siglas en inglés). A diferencia de los métodos de RL tradicionales, que dependen en gran medida de evaluadores externos (críticos) para guiar el aprendizaje, GRPO optimiza el modelo evaluando grupos de respuestas en relación con otras. Este enfoque permite un entrenamiento más eficiente, lo que hace que GRPO sea ideal para tareas de razonamiento que requieren la resolución de problemas complejos y largas cadenas de pensamiento.
 
16
  ---
17
 
18
  # ESP NSFW GRPO 1B Sin Censura
19
+ Este es un modelo Llama 3.2 destilado a partir de puntos de control entrenados por GRPO combinado con un dataset NSFW personalizado e integramente traducido al español; es **un intento** de minimizar la censura del modelo, por lo que no garantizo una calidad similar a la serie Dolphin.
20
+
21
+ Por otra parte, GRPO elimina la necesidad de un modelo crítico al comparar las respuestas dentro de un grupo, lo que reduce significativamente la sobrecarga computacional simplificando los procesos usando menos RAM haciéndolo más rápido y escalable.
22
 
23
  ## ¿Que es GRPO?
24
  La optimización de políticas relativas a grupos (GRPO, por sus siglas en inglés) es un algoritmo de aprendizaje por refuerzo (RL, por sus siglas en inglés) diseñado específicamente para mejorar las capacidades de razonamiento en modelos de lenguaje grandes (LLM, por sus siglas en inglés). A diferencia de los métodos de RL tradicionales, que dependen en gran medida de evaluadores externos (críticos) para guiar el aprendizaje, GRPO optimiza el modelo evaluando grupos de respuestas en relación con otras. Este enfoque permite un entrenamiento más eficiente, lo que hace que GRPO sea ideal para tareas de razonamiento que requieren la resolución de problemas complejos y largas cadenas de pensamiento.