ChenMnZ/Llama-2-7b-EfficientQAT-w4g128-BitBLAS
Text Generation
•
4B
•
Updated
•
7
EfficientQAT (BitBLAS format)
EfficientQAT quantized models with BitBLAS data format.
-
-
ChenMnZ/Llama-3-8b-instruct-EfficientQAT-w4g128-BitBLAS
Text Generation • 5B • Updated • 10 -
ChenMnZ/Llama-3-8b-instruct-EfficientQAT-w2g64-BitBLAS
Text Generation • 3B • Updated • 13 -
ChenMnZ/Llama-3-8b-instruct-EfficientQAT-w2g128-BitBLAS
Text Generation • 3B • Updated • 21 -
ChenMnZ/Llama-3-8b-EfficientQAT-w4g128-BitBLAS
Text Generation • 5B • Updated • 16 -
ChenMnZ/Llama-3-8b-EfficientQAT-w2g64-BitBLAS
Text Generation • 3B • Updated • 7 -
ChenMnZ/Llama-3-8b-EfficientQAT-w2g128-BitBLAS
Text Generation • 3B • Updated • 7 -
ChenMnZ/Llama-3-70b-instruct-EfficientQAT-w4g128-BitBLAS
Text Generation • 37B • Updated • 7 -
ChenMnZ/Llama-3-70b-instruct-EfficientQAT-w2g64-BitBLAS
Text Generation • 21B • Updated • 7 -
ChenMnZ/Llama-3-70b-instruct-EfficientQAT-w2g128-BitBLAS
Text Generation • 20B • Updated • 8 -
ChenMnZ/Llama-3-70b-EfficientQAT-w4g128-BitBLAS
Text Generation • 37B • Updated • 7 -
ChenMnZ/Llama-3-70b-EfficientQAT-w2g64-BitBLAS
Text Generation • 21B • Updated • 7 -
ChenMnZ/Llama-3-70b-EfficientQAT-w2g128-BitBLAS
Text Generation • 20B • Updated • 7 -
ChenMnZ/Llama-2-7b-EfficientQAT-w2g64-BitBLAS
Text Generation • 2B • Updated • 7 -
ChenMnZ/Llama-2-7b-EfficientQAT-w2g128-BitBLAS
Text Generation • 2B • Updated • 7 -
ChenMnZ/Llama-2-70b-EfficientQAT-w4g128-BitBLAS
Text Generation • 36B • Updated • 7 -
ChenMnZ/Llama-2-70b-EfficientQAT-w2g128-BitBLAS
Text Generation • 18B • Updated • 7 -
ChenMnZ/Llama-2-13b-EfficientQAT-w4g128-BitBLAS
Text Generation • 7B • Updated • 8 -
ChenMnZ/Llama-2-13b-EfficientQAT-w2g64-BitBLAS
Text Generation • 4B • Updated • 7 -
ChenMnZ/Llama-2-13b-EfficientQAT-w2g128-BitBLAS
Text Generation • 4B • Updated • 6