🧠 Mô hình Continue Pretrain: Qwen3-4B_model_CT_DVCQG_v1

📐 Kiến trúc mô hình

Thuộc tính Thông tin
📐 Kiến trúc unsloth/Qwen3-4B-unsloth-bnb-4bit
🧠 Số tham số 3,550,739,968
🧱 Định dạng 4-bit (bnb)
🏗️ Framework Unsloth + Transformers

Mô tả

Mô hình này được huấn luyện theo phương pháp continue pretraining (tiếp tục tiền huấn luyện) nhằm giúp mô hình hiểu sâu hơn về ngữ cảnh và văn bản thủ tục hành chính Việt Nam, đặc biệt từ nguồn dữ liệu chính thức tại Cổng Dịch vụ công Quốc gia.

🔹 Base model: unsloth/Qwen3-4B-unsloth-bnb-4bit

🔹 Dataset: thailevann/pretrain_dvcqg

🔹 Tổng số token huấn luyện: 8,837,872

🔹 GPU sử dụng: NVIDIA A30

🔹 Epochs: 2

🔹 Learning rate: 3e-6

📉 Train loss image/png

📬 Liên hệ

Người đóng góp: @thailevann

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for thailevann/Qwen3-4B_model_CT_DVCQG_v1

Base model

Qwen/Qwen3-4B-Base
Finetuned
Qwen/Qwen3-4B
Finetuned
(69)
this model

Dataset used to train thailevann/Qwen3-4B_model_CT_DVCQG_v1

Collection including thailevann/Qwen3-4B_model_CT_DVCQG_v1