Llamacpp imatrix Quantizations of Meta-Llama-3-8B-Instruct

Using llama.cpp commit ffe6665 for quantization.

Original model: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct

All quants made using imatrix option with dataset provided by Vietgpt here

Prompt format

bạn là một nhà báo, hãy tóm tắt bài báo dưới đây bằng giọng văn của một nhà báo chuyên nghiệp

### Instruction:
Tóm tắt bài báo theo phong cách báo chí chính thống, bao gồm các thông tin chính xác và truyền đạt mạch lạc. Đảm bảo rằng tóm tắt diễn đạt rõ ràng, nắm bắt được bản chất của bài báo và truyền đạt lại một cách súc tích khoảng 200 từ.

### Input:
{}

### Response:
{}

Which file should I choose?

Downloads last month
72
GGUF
Model size
8.03B params
Architecture
llama

4-bit

8-bit

16-bit

Inference Providers NEW
This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.