Upload 3 files

Zmiany - Bielik

Dockerfile.txt

@@ -0,0 +1,20 @@
+# Użyj oficjalnego obrazu Pythona jako bazy
+FROM python:3.9-slim-buster
+
+# Ustaw katalog roboczy wewnątrz kontenera
+WORKDIR /app
+
+# Skopiuj pliki requirements.txt i zainstaluj zależności
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+# Skopiuj pozostałe pliki aplikacji
+COPY app/ ./app/
+
+# Ustaw zmienną środowiskową PORT, która będzie używana przez FastAPI/Uvicorn
+# Hugging Face Spaces często udostępnia port 7860 lub 80
+ENV PORT 7860
+
+# Uruchom aplikację Uvicorn, gdy kontener zostanie uruchomiony
+# --host 0.0.0.0 jest kluczowe, aby serwer nasłuchiwał na wszystkich interfejsach
+CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "7860"]

app/main.py

@@ -0,0 +1,80 @@
+from fastapi import FastAPI, HTTPException
+from pydantic import BaseModel
+from transformers import pipeline
+import uvicorn
+import os
+
+# Utwórz instancję FastAPI
+app = FastAPI(
+    title="Bielik Text Generation API",
+    description="API do generowania tekstu za pomocą modelu Bielik-1.5B-v3.0-Instruct",
+    version="1.0.0"
+)
+
+# Ścieżka do modelu - Hugging Face automatycznie pobierze model
+MODEL_NAME = "PL-MoD/Bielik-1.5B-v3.0-Instruct"
+generator = None # Zostanie załadowany później
+
+# Model wejściowy dla POST request
+class GenerationRequest(BaseModel):
+    prompt: str
+    max_new_tokens: int = 50
+    temperature: float = 0.7
+    top_p: float = 0.9
+
+@app.on_event("startup")
+async def startup_event():
+    """
+    Ładowanie modelu podczas uruchamiania aplikacji.
+    To zajmie trochę czasu, ale dzieje się tylko raz.
+    """
+    global generator
+    print(f"Ładowanie modelu: {MODEL_NAME}...")
+    try:
+        # Możesz dostosować device=0 (GPU) lub device=-1 (CPU) w zależności od wybranej maszyny Space
+        # Free tier spaces usually run on CPU, unless you explicitly select a GPU.
+        # It's safer to not specify device if you want it to auto-detect or default to CPU.
+        generator = pipeline(
+            "text-generation",
+            model=MODEL_NAME,
+            # device=0 if torch.cuda.is_available() else -1 # Odkomentuj dla detekcji GPU
+        )
+        print("Model załadowany pomyślnie!")
+    except Exception as e:
+        print(f"Błąd ładowania modelu: {e}")
+        # Możesz zdecydować, czy aplikacja ma zakończyć działanie, czy kontynuować bez modelu
+        # W przypadku błędu ładowania modelu, endpoint generacji tekstu będzie zwracał błąd
+        generator = None # Ustaw na None, aby sygnalizować problem
+
+
+@app.get("/")
+async def root():
+    """
+    Główny endpoint (health check).
+    """
+    return {"message": "Bielik Text Generation API is running!"}
+
+@app.post("/generate")
+async def generate_text(request: GenerationRequest):
+    """
+    Endpoint do generowania tekstu na podstawie promptu.
+    """
+    if generator is None:
+        raise HTTPException(status_code=503, detail="Model nie został załadowany lub wystąpił błąd.")
+
+    try:
+        generated_text = generator(
+            request.prompt,
+            max_new_tokens=request.max_new_tokens,
+            temperature=request.temperature,
+            top_p=request.top_p,
+            do_sample=True, # Ważne dla generowania z temperaturą
+        )
+        # Pipeline zwraca listę słowników, bierzemy pierwszy wynik
+        return {"generated_text": generated_text[0]["generated_text"]}
+    except Exception as e:
+        raise HTTPException(status_code=500, detail=f"Błąd podczas generowania tekstu: {e}")
+
+# Uruchamianie serwera Uvicorn bezpośrednio (dla Dockera)
+if __name__ == "__main__":
+    uvicorn.run(app, host="0.0.0.0", port=int(os.getenv("PORT", 7860)))

requirements.txt

@@ -1,6 +1,5 @@
-fastapi==0.74.*
-requests==2.27.*
-sentencepiece==0.1.*
-torch==1.11.*
-transformers==4.*
-uvicorn[standard]==0.17.*
+fastapi
+uvicorn[standard]
+transformers
+torch
+pydantic