Update README.md
Browse files
README.md
CHANGED
@@ -35,11 +35,11 @@ license: apache-2.0
|
|
35 |
---
|
36 |
|
37 |
# Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF
|
38 |
-
|
39 |
-
|
40 |
|
41 |
-
##
|
42 |
-
|
43 |
|
44 |
```bash
|
45 |
brew install llama.cpp
|
@@ -57,23 +57,23 @@ llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejo
|
|
57 |
llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
|
58 |
```
|
59 |
|
60 |
-
|
61 |
|
62 |
-
|
63 |
```
|
64 |
git clone https://github.com/ggerganov/llama.cpp
|
65 |
```
|
66 |
|
67 |
-
|
68 |
```
|
69 |
cd llama.cpp && LLAMA_CURL=1 make
|
70 |
```
|
71 |
|
72 |
-
|
73 |
```
|
74 |
./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -p "The meaning to life and the universe is"
|
75 |
```
|
76 |
-
|
77 |
```
|
78 |
./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
|
79 |
```
|
|
|
35 |
---
|
36 |
|
37 |
# Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF
|
38 |
+
Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai.
|
39 |
+
Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo.
|
40 |
|
41 |
+
## Uso con llama.cpp
|
42 |
+
Instalar llama.cpp a través de brew (funciona en Mac y Linux)
|
43 |
|
44 |
```bash
|
45 |
brew install llama.cpp
|
|
|
57 |
llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
|
58 |
```
|
59 |
|
60 |
+
**Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp.
|
61 |
|
62 |
+
**Paso 1:** Clona llama.cpp desde GitHub.
|
63 |
```
|
64 |
git clone https://github.com/ggerganov/llama.cpp
|
65 |
```
|
66 |
|
67 |
+
**Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux).
|
68 |
```
|
69 |
cd llama.cpp && LLAMA_CURL=1 make
|
70 |
```
|
71 |
|
72 |
+
**Paso 3:** Ejecutar la inferencia a través del binario principal.
|
73 |
```
|
74 |
./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -p "The meaning to life and the universe is"
|
75 |
```
|
76 |
+
o
|
77 |
```
|
78 |
./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q8_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q8_0.gguf -c 2048
|
79 |
```
|