Dịch vụ công - 2025
Collection
5 items
•
Updated
🧠 Mô hình Continue Pretrain: Qwen3-4B_model_CT_DVCQG_v1
Thuộc tính | Thông tin |
---|---|
📐 Kiến trúc | unsloth/Qwen3-4B-unsloth-bnb-4bit |
🧠 Số tham số | 3,550,739,968 |
🧱 Định dạng | 4-bit (bnb) |
🏗️ Framework | Unsloth + Transformers |
Mô hình này được huấn luyện theo phương pháp continue pretraining (tiếp tục tiền huấn luyện) nhằm giúp mô hình hiểu sâu hơn về ngữ cảnh và văn bản thủ tục hành chính Việt Nam, đặc biệt từ nguồn dữ liệu chính thức tại Cổng Dịch vụ công Quốc gia.
🔹 Base model: unsloth/Qwen3-4B-unsloth-bnb-4bit
🔹 Dataset: thailevann/pretrain_dvcqg
🔹 Tổng số token huấn luyện: 8,837,872
🔹 GPU sử dụng: NVIDIA A30
🔹 Epochs: 2
🔹 Learning rate: 3e-6
Người đóng góp: @thailevann