niuvaroza/Llama-2-7b-chat-finetune-constitucion-venezuela

🧠 Llama 2 7B Chat Fine-tuneado en la Constitución de Venezuela 🇻🇪

Este modelo es una versión fine-tuneada de meta-llama/Llama-2-7b-chat-hf, ajustado sobre el dataset niuvaroza/constitucion-venezuela-1000, que contiene 1000 instrucciones curadas relacionadas con el texto de la Constitución de la República Bolivariana de Venezuela.

---

🧾 Objetivo del modelo

Está diseñado para asistir en tareas educativas, explicativas y conversacionales sobre artículos constitucionales. Responde preguntas como si fuera un asistente legal educativo, sin reemplazar asesoría jurídica profesional.

---

⚙️ Detalles técnicos

• Modelo base: meta-llama/Llama-2-7b-chat-hf
• Método: QLoRA con PEFT (LoRA)
• Tokenización: AutoTokenizer con padding lateral derecho
• Batch size efectivo: 16 (batch 4 × grad. accum. 4)
• Optimización: paged_adamw_8bit
• Cuantización: 4-bit (nf4)
• Entrenamiento en: Google Colab con GPU de 15GB
• Epochs: 3
• Formato de prompt:

  <s>[INST] ¿Cuál es el principio de igualdad ante la ley? [/INST]
  

---

📚 Dataset utilizado

• niuvaroza/constitucion-venezuela-1000
• 1000 ejemplos de tipo instruction, input, output
• Curado manualmente por Niurka Oropeza

---

📌 Uso de ejemplo

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained("niuvaroza/llama-2-7b-chat-finetune-constitucion-venezuela", device_map="auto", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("niuvaroza/llama-2-7b-chat-finetune-constitucion-venezuela")

prompt = "<s>[INST] ¿Cuáles son los derechos políticos según la Constitución venezolana? [/INST]"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---

⚠️ Advertencia Legal

Este modelo es exclusivamente con fines educativos e informativos. No sustituye el criterio profesional de un abogado ni representa una fuente jurídica oficial. Consulta siempre con especialistas en derecho para decisiones legales.

---

👩‍💻 Desarrollado por

• Autora y Fine-Tuning: Niurka Oropeza (2025)
• Licencia: Apache 2.0