File size: 1,436 Bytes
8b9f595 c2f2625 8b9f595 c2f2625 8b9f595 0677e1a 8b9f595 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 |
---
language:
- es
- en
tags:
- gguf
- llama.cpp
- phi-3
- phi-3-mini
- 128k
- phi-3-mini-128k
---
# Phi-3-mini-128k-instruct
## Requisitos
Para usar este modelo, necesitas tener instalado llama.cpp en tu equipo. Puedes obtener llama.cpp desde el siguiente repositorio:
- [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp)
Para instalar llama.cpp, sigue estos pasos:
```bash
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
```
## Uso del modelo
La plantilla del modelo es la siguiente:
```plaintext
<|user|>\n{prompt} <|end|>\n<|assistant|>
```
Puedes utilizar el modelo en llama.cpp con el siguiente comando:
```bash
./main -m ggml-model-Q8_0.gguf -p "<|user|>\n¿Cómo te llamas? <|end|>\n<|assistant|>" --log-disable
```
LM Studio config-presets
Filename:phi-3.preset.json
```json
{
"name": "Phi-3",
"inference_params": {
"input_prefix": "<|user|>\n",
"input_suffix": "<|end|>\n<|assistant|>",
"antiprompt": [
"<|user|>\n",
"<|end|>\n<|assistant|>"
],
"pre_prompt": "<|system|>\nYou are a helpful AI assistant.<|end|>",
"pre_prompt_prefix": "",
"pre_prompt_suffix": ""
},
"load_params": {
"rope_freq_scale": 0,
"rope_freq_base": 0
}
}
```
## Referencias
- [Repositorio original](https://huggingface.co/microsoft/Phi-3-mini-128k-instruct)
- [Repositorio de llama.cpp](https://github.com/ggerganov/llama.cpp) |