Quantization made by Richard Erkhov.

Irbis-7b-v0.1 - GGUF

Model creator: https://huggingface.co/IrbisAI/
Original model: https://huggingface.co/IrbisAI/Irbis-7b-v0.1/

Name	Quant method	Size
Irbis-7b-v0.1.Q2_K.gguf	Q2_K	2.66GB
Irbis-7b-v0.1.IQ3_XS.gguf	IQ3_XS	2.95GB
Irbis-7b-v0.1.IQ3_S.gguf	IQ3_S	3.1GB
Irbis-7b-v0.1.Q3_K_S.gguf	Q3_K_S	3.08GB
Irbis-7b-v0.1.IQ3_M.gguf	IQ3_M	3.2GB
Irbis-7b-v0.1.Q3_K.gguf	Q3_K	3.41GB
Irbis-7b-v0.1.Q3_K_M.gguf	Q3_K_M	3.41GB
Irbis-7b-v0.1.Q3_K_L.gguf	Q3_K_L	3.7GB
Irbis-7b-v0.1.IQ4_XS.gguf	IQ4_XS	3.82GB
Irbis-7b-v0.1.Q4_0.gguf	Q4_0	3.98GB
Irbis-7b-v0.1.IQ4_NL.gguf	IQ4_NL	4.02GB
Irbis-7b-v0.1.Q4_K_S.gguf	Q4_K_S	4.01GB
Irbis-7b-v0.1.Q4_K.gguf	Q4_K	4.22GB
Irbis-7b-v0.1.Q4_K_M.gguf	Q4_K_M	4.22GB
Irbis-7b-v0.1.Q4_1.gguf	Q4_1	4.4GB
Irbis-7b-v0.1.Q5_0.gguf	Q5_0	4.82GB
Irbis-7b-v0.1.Q5_K_S.gguf	Q5_K_S	4.82GB
Irbis-7b-v0.1.Q5_K.gguf	Q5_K	4.94GB
Irbis-7b-v0.1.Q5_K_M.gguf	Q5_K_M	4.94GB
Irbis-7b-v0.1.Q5_1.gguf	Q5_1	5.24GB
Irbis-7b-v0.1.Q6_K.gguf	Q6_K	5.71GB
Irbis-7b-v0.1.Q8_0.gguf	Q8_0	7.4GB

Original model description:

language: - kk - ru - en license: mit library_name: transformers pipeline_tag: text-generation

Irbis-7B

Irbis-7B - это языковая модель на основе архитектуры трансформеров, адаптированная для казахского языка.

Улучшенный токенизатор - словарь токенизатора был расширен с 32к до 60к токенов, включая больше казахских слов, что улучшило эффективность токенизации для казахского языка.
Предварительное обучение - модель была предобучена на 20 ГБ преимущственно казахских и немного русских текстов для настройки с новым токенизатором.

В результате модель показывает значительно лучшее качество работы с казахским языком по сравнению с прочими моделями из открытых источников. За счет нового токенизатора увеличилась скорость генерации текста в 3-4 раза, также оптимизировалось заполнение контекстного окна.

Подробнее можно почитать в статье.

Попробовать

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

model_name = "IrbisAI/Irbis-7b-v0.1"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    return_dict=True,
    torch_dtype=torch.float16,
    device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Сұрақ: Шөп неге жасыл?\nЖауап: "

input_ids = tokenizer([prompt], return_tensors = "pt")["input_ids"].to("cuda")

generation_config = GenerationConfig(
    temperature=0.6,
    repetition_penalty=1.15
)
print("Generating...")
generation_output = model.generate(
    input_ids=input_ids,
    generation_config=generation_config,
    return_dict_in_generate=True,
    output_scores=True,
    max_new_tokens=2048,
    pad_token_id=tokenizer.eos_token_id,
)
for s in generation_output.sequences:
    print(tokenizer.decode(s)) # Өсімдіктер ауасыз өмір сүре алмайды, сондықтан олар жасыл түсті болады.