Instructions to use Situus/STARK-12B-Thinking with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Situus/STARK-12B-Thinking with Transformers:
# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("Situus/STARK-12B-Thinking", dtype="auto") - llama-cpp-python
How to use Situus/STARK-12B-Thinking with llama-cpp-python:
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="Situus/STARK-12B-Thinking", filename="gemma-3-12b-think-v2-q4_k_m.gguf", )
llm.create_chat_completion( messages = "No input example has been defined for this model task." )
- Notebooks
- Google Colab
- Kaggle
- Local Apps
- llama.cpp
How to use Situus/STARK-12B-Thinking with llama.cpp:
Install from brew
brew install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf Situus/STARK-12B-Thinking:Q4_K_M # Run inference directly in the terminal: llama-cli -hf Situus/STARK-12B-Thinking:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf Situus/STARK-12B-Thinking:Q4_K_M # Run inference directly in the terminal: llama-cli -hf Situus/STARK-12B-Thinking:Q4_K_M
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf Situus/STARK-12B-Thinking:Q4_K_M # Run inference directly in the terminal: ./llama-cli -hf Situus/STARK-12B-Thinking:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf Situus/STARK-12B-Thinking:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama-cli -hf Situus/STARK-12B-Thinking:Q4_K_M
Use Docker
docker model run hf.co/Situus/STARK-12B-Thinking:Q4_K_M
- LM Studio
- Jan
- Ollama
How to use Situus/STARK-12B-Thinking with Ollama:
ollama run hf.co/Situus/STARK-12B-Thinking:Q4_K_M
- Unsloth Studio new
How to use Situus/STARK-12B-Thinking with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Situus/STARK-12B-Thinking to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Situus/STARK-12B-Thinking to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for Situus/STARK-12B-Thinking to start chatting
- Docker Model Runner
How to use Situus/STARK-12B-Thinking with Docker Model Runner:
docker model run hf.co/Situus/STARK-12B-Thinking:Q4_K_M
- Lemonade
How to use Situus/STARK-12B-Thinking with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull Situus/STARK-12B-Thinking:Q4_K_M
Run and chat with the model
lemonade run user.STARK-12B-Thinking-Q4_K_M
List all available models
lemonade list
STARK-12B-Thinking (System Transparentnego Analitycznego Rozumowania i Kontekstu) to zaawansowany polskojęzyczny asystent językowy oparty na architekturze Gemma 3 (12B). Model został poddany procesowi precyzyjnego finetuningu LoRA, mającego na celu optymalizację zdolności wnioskowania oraz inteligencji emocjonalnej.
Model jest udostępniany w skwantyzowanym formacie GGUF (Q4_K_M), co pozwala na jego uruchomienie na sprzęcie klasy konsumenckiej przy zachowaniu wysokiej rzetelności merytorycznej.
Charakterystyka Systemu
Głównym wyróżnikiem modelu STARK jest zaimplementowany mechanizm Chain of Thought (CoT), który wymusza jawną analizę problemu przed udzieleniem odpowiedzi.
- Wewnętrzny Monolog: Model eksponuje swój proces myślowy wewnątrz tagów
<think> ... </think>, co pozwala na wgląd w analizę zapytań i planowanie struktury wypowiedzi. - Inteligencja Emocjonalna (EQ): Duży nacisk położono na rozumienie intencji użytkownika, adekwatny dobór tonu oraz dopasowanie stylu odpowiedzi do kontekstu.
- Natywna Obsługa Języka Polskiego: Model uwzględnia polskie niuanse kulturowe i językowe, zapewniając wysoką jakość dialogu.
Wydajność i Benchmarki
Finetuning na bazie wysokiej jakości danych syntetycznych przyniósł wymierną poprawę w zdolnościach rozumowania i logiki w języku polskim.
Porównanie wyników MMLU (Polish Language):
| Model | Wynik MMLU (PL) | Status |
|---|---|---|
| google/gemma-3-12b-it (Base) | 59.4% | Wartość bazowa |
| STARK-12B-Thinking | 64.6% | Wzrost (+5.2 p.p.) |
Wizualizacja wzrostu wydajności:
BASE [████████████████████████░░░░░░░░░░] 59.4%
STARK [███████████████████████████░░░░░░░] 64.6%
Odnotowany wzrost o 5.2 punktu procentowego stanowi blisko 9% relatywnej poprawy wydajności względem modelu bazowego. Przekłada się to na wyższą spójność logiczną oraz redukcję zjawiska halucynacji w złożonych zadaniach asystenckich.
Proces Treningowy i Rodowód Danych
Wydajność asystenta STARK wynika bezpośrednio z jakości zastosowanego korpusu treningowego:
- Dane Gemini 3 Pro: Model został douczony na wysokiej gęstości danych syntetycznych wygenerowanych przy użyciu systemu Google Gemini (Gemini 3 Pro).
- Metodologia: Zbiór obejmuje polskie instrukcje ze szczególnym naciskiem na strukturę Chain of Thought oraz dialogi o wysokim współczynniku inteligencji emocjonalnej.
- Architektura: Podstawą systemu jest model Gemma 3 12B, skwantyzowany do wersji 4-bitowej (Q4_K_M) w celu optymalizacji zapotrzebowania na pamięć VRAM/RAM.
Zastosowanie (Intended Use)
Model najlepiej sprawdza się w zadaniach wymagających głębokiej analizy i empatii:
- Asysta Operacyjna: Planowanie zadań, ustalanie priorytetów i rozwiązywanie problemów logicznych.
- Praca z Tekstem: Kreatywne pisanie, storytelling oraz analiza psychologiczna wypowiedzi.
- Analiza Danych: Brainstorming i wnioskowanie przyczynowo-skutkowe na bazie podanego kontekstu.
Ograniczenia (Limitations)
Należy pamiętać, że ten model nie został zoptymalizowany pod kątem:
- Programowania: Generowany kod może zawierać błędy.
- Zaawansowanej Matematyki: Model może popełniać błędy w skomplikowanych obliczeniach teoretycznych.
Instrukcja Użycia (Usage)
Model jest kompatybilny z narzędziami obsługującymi format GGUF, takimi jak LM Studio, KoboldCPP czy llama.cpp.
Rekomendowany format promptu:
<start_of_turn>user
Twoje pytanie lub polecenie tutaj<end_of_turn>
<start_of_turn>model
<think>
Tutaj model przeprowadza proces myślowy...
</think>
Tutaj znajduje się właściwa odpowiedź.
Licencja
Model udostępniany jest na licencji Gemma Terms of Use. Należy zapoznać się z oficjalnymi warunkami użytkowania modeli Google Gemma.
- Downloads last month
- 18
4-bit