thailevann/Qwen3-4B_model_CT_DVCQG_v1

🧠 Mô hình Continue Pretrain: Qwen3-4B_model_CT_DVCQG_v1

📐 Kiến trúc mô hình

Thuộc tính	Thông tin
📐 Kiến trúc	unsloth/Qwen3-4B-unsloth-bnb-4bit
🧠 Số tham số	3,550,739,968
🧱 Định dạng	4-bit (bnb)
🏗️ Framework	Unsloth + Transformers

Mô tả

Mô hình này được huấn luyện theo phương pháp continue pretraining (tiếp tục tiền huấn luyện) nhằm giúp mô hình hiểu sâu hơn về ngữ cảnh và văn bản thủ tục hành chính Việt Nam, đặc biệt từ nguồn dữ liệu chính thức tại Cổng Dịch vụ công Quốc gia.

🔹 Base model: unsloth/Qwen3-4B-unsloth-bnb-4bit

🔹 Dataset: thailevann/pretrain_dvcqg

🔹 Tổng số token huấn luyện: 8,837,872

🔹 GPU sử dụng: NVIDIA A30

🔹 Epochs: 2

🔹 Learning rate: 3e-6

📉 Train loss

📬 Liên hệ

Người đóng góp: @thailevann