Update app.py

app.py

@@ -12,49 +12,56 @@ def safe_convert_image(img):
         return img
     elif isinstance(img, bytes):
         return Image.open(io.BytesIO(img))
-    elif hasattr(img, "read"):  # Cas fichier Gradio
+    elif hasattr(img, "read"):
         return Image.open(img)
     else:
         raise ValueError("Format d'image non pris en charge.")
 
 
-#Charger le modèle et le processeur
+# Chargement du modèle et du processeur
 model_id = "llava-hf/llava-1.5-7b-hf"
-#processor = LlavaProcessor.from_pretrained(model_id)
-processor = LlavaProcessor.from_pretrained(model_id, use_fast=False)
-
+processor = LlavaProcessor.from_pretrained(model_id)
 model = LlavaForConditionalGeneration.from_pretrained(
     model_id,
     torch_dtype=torch.float16,
     device_map="auto"
 )
 
-#Fonction de réponse à une question visuelle
+# Fonction de VQA
 def vqa_llava(image, question):
-    if not isinstance(image, Image.Image):
-        image = Image.open(image)
+    try:
         image = safe_convert_image(image)
 
+        # ✅ Prompt spécifique à LLaVA
+        prompt = f"<image>\nUSER: {question.strip()}\nASSISTANT:"
+
+        # Préparation des entrées
+        inputs = processor(
+            text=prompt,
+            images=image,
+            return_tensors="pt"
+        ).to(model.device)
+
+        # Génération de la réponse
+        generate_ids = model.generate(**inputs, max_new_tokens=100)
+        response = processor.batch_decode(generate_ids, skip_special_tokens=True)[0]
 
-    prompt = f"[INST] {question} [/INST]"
-    inputs = processor(prompt, image, return_tensors="pt").to(model.device)
+        return response.replace(prompt, "").strip()
 
-    generate_ids = model.generate(**inputs, max_new_tokens=100)
-    response = processor.batch_decode(generate_ids, skip_special_tokens=True)[0]
+    except Exception as e:
+        return f"❌ Erreur : {str(e)}"
 
-    # Nettoyage de la réponse
-    return response.strip().replace(prompt, "").strip()
 
-#Interface Gradio
+# Interface Gradio
 interface = gr.Interface(
     fn=vqa_llava,
     inputs=[
         gr.Image(type="pil", label="🖼️ Image"),
-        gr.Textbox(lines=2, label="❓ Question")
+        gr.Textbox(lines=2, label="❓ Question (en anglais)")
     ],
     outputs=gr.Textbox(label="💬 Réponse"),
     title="🔎 Visual Question Answering avec LLaVA",
-    description="Pose une question sur une image et LLaVA répondra."
+    description="Téléverse une image et pose une question visuelle (en anglais). Le modèle LLaVA-1.5-7B y répondra."
 )
 
 if __name__ == "__main__":