GGUF
Spanish
English
edge-ai
llama.cpp
termux
unsloth
code-agent
slm
conversational

🚀 Descripción del Proyecto

SAD_CORE v1 es un Small Language Model (SLM) diseñado para ejecutarse en entornos de alta restricción de recursos, específicamente hardware móvil. Este modelo es el resultado de una investigación sobre la viabilidad de la inteligencia artificial local (Edge AI), permitiendo asistencia en programación y seguimiento de instrucciones sin conexión a internet.

Demo de Inferencia

Características Principales:

  • Optimizado para Móviles: Ejecución fluida en dispositivos con 4GB de RAM.
  • Especialización en Código: Refinado para mejorar la asistencia en Python y lógica de agentes.
  • Multilingüe: Ajustado para una respuesta coherente tanto en español como en inglés.

🛠️ Detalles Técnicos del Fine-Tuning

El entrenamiento se realizó bajo la metodología SFT (Supervised Fine-Tuning) con las siguientes especificaciones:

  • Framework: Unsloth (FastLanguageModel)
  • Adaptador: LoRA (Rank: 64, Alpha: 64)
  • Longitud de Secuencia (Max Seq): 2048 tokens.
  • Dataset Total: 10,000 muestras curadas de fuentes seleccionadas.
  • Optimizador: AdamW (8-bit) para eficiencia de VRAM.
  • Hardware de Entrenamiento: NVIDIA Tesla T4 (Cloud).

📱 Cómo usar en Android (Termux)

Este modelo está en formato GGUF y es compatible con llama.cpp.

  1. Descarga el modelo:
    wget https://huggingface.co/xXGioXx/sad_core_v1_q8/resolve/main/sad_core_v1_q8.gguf
    

📊 Rendimiento Esperado (Samsung A52 - 4GB RAM)

  • Velocidad de Inferencia: ~4-6 tokens/segundo.
  • Uso de RAM: ~1.8GB (Modelo) + sistema.
  • Temperatura: Estable con 3 hilos de ejecución.

Downloads last month
673
GGUF
Model size
2B params
Architecture
qwen2
Hardware compatibility
Log In to add your hardware

We're not able to determine the quantization variants.

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for xXGioXx/sad_core_v1_q8

Datasets used to train xXGioXx/sad_core_v1_q8