File size: 1,428 Bytes
b8a0338 30ef4c0 b8a0338 30ef4c0 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
---
library_name: transformers
datasets:
- cardiffnlp/tweet_eval
base_model:
- TinyLlama/TinyLlama-1.1B-Chat-v1.0
---
# Описание
Следовало дообучить базовую модель с помощью qLoRA
# Детали
Rjyabub
```python
peft_config = LoraConfig(
lora_alpha=16,
lora_dropout=0.01,
r=8,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj", "v_proj", "k_proj"],
training_arguments = TrainingArguments(
output_dir="output_dir",
per_device_train_batch_size=8,
gradient_accumulation_steps=8,
num_train_epochs=1,
learning_rate=1e-4,
lr_scheduler_type="constant_with_warmup",
logging_steps=50,
save_steps=1000,
evaluation_strategy="no",
report_to=[]
)
trainer = SFTTrainer(
model=model,
train_dataset=sft_dataset["train"],
args=training_arguments,
peft_config=peft_config,
processing_class=tokenizer,
)
trainer.train()
)
```
# Метрики
Метрики ужасные, все нулевые
Из-за очень долго обучения(час эпоха) не вышло провести много экспериментов. Лосс всегда скакал от 0.86 к 0.88 и обратно, не было прогресса в обучение |