Novaciano commited on
Commit
af52dc6
·
verified ·
1 Parent(s): f029b86

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +9 -9
README.md CHANGED
@@ -35,11 +35,11 @@ license: apache-2.0
35
  ---
36
 
37
  # Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF
38
- This model was converted to GGUF format from [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
39
- Refer to the [original model card](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) for more details on the model.
40
 
41
- ## Use with llama.cpp
42
- Install llama.cpp through brew (works on Mac and Linux)
43
 
44
  ```bash
45
  brew install llama.cpp
@@ -57,23 +57,23 @@ llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejo
57
  llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
58
  ```
59
 
60
- Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.
61
 
62
- Step 1: Clone llama.cpp from GitHub.
63
  ```
64
  git clone https://github.com/ggerganov/llama.cpp
65
  ```
66
 
67
- Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
68
  ```
69
  cd llama.cpp && LLAMA_CURL=1 make
70
  ```
71
 
72
- Step 3: Run inference through the main binary.
73
  ```
74
  ./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -p "The meaning to life and the universe is"
75
  ```
76
- or
77
  ```
78
  ./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
79
  ```
 
35
  ---
36
 
37
  # Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF
38
+ Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai.
39
+ Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo.
40
 
41
+ ## Uso con llama.cpp
42
+ Instalar llama.cpp a través de brew (funciona en Mac y Linux)
43
 
44
  ```bash
45
  brew install llama.cpp
 
57
  llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
58
  ```
59
 
60
+ **Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp.
61
 
62
+ **Paso 1:** Clona llama.cpp desde GitHub.
63
  ```
64
  git clone https://github.com/ggerganov/llama.cpp
65
  ```
66
 
67
+ **Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux).
68
  ```
69
  cd llama.cpp && LLAMA_CURL=1 make
70
  ```
71
 
72
+ **Paso 3:** Ejecutar la inferencia a través del binario principal.
73
  ```
74
  ./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -p "The meaning to life and the universe is"
75
  ```
76
+ o
77
  ```
78
  ./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
79
  ```