app.py_V07_NOK

#TSMS_app.py_V07
#A REPARER - CHARGE PLUS CORRECTEMENT LE MODELE

# Import des bibliothèques nécessaires
import gradio as gr
from transformers import AutoTokenizer, AutoModelForCausalLM
import requests
import torch

# Fonction pour charger le modèle et le tokenizer
def load_model(model_name):
    """Charge le modèle et le tokenizer"""
    model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
    tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
    return model, tokenizer

# Fonction pour mettre à jour le label de la Textbox
def update_output_text_label(model_name):
    """Met à jour le label de la Textbox avec le nom du modèle"""
    return f"Réponse de {model_name}"

# Fonction pour générer du texte en utilisant le modèle
def generate_text(model, tokenizer, input_text, max_length, temperature):
    """Génère du texte en utilisant le modèle"""
    inputs = tokenizer(input_text, return_tensors="pt")
    output = model.generate(**inputs, max_length=max_length, temperature=temperature)
    return tokenizer.decode(output[0], skip_special_tokens=True)

# Fonction principale pour générer le texte
def main(input_text, max_length, temperature, model_name):
    """Fonction principale pour générer le texte"""
    global model, tokenizer
    if model is None or tokenizer is None:
        raise Exception("Modèle non chargé. Veuillez charger un modèle avant de générer du texte.")
    generated_text = generate_text(model, tokenizer, input_text, max_length, temperature)
    return generated_text

# Variables globales pour stocker le modèle et le tokenizer
model = None
tokenizer = None

# Fonction pour charger le modèle lors du clic sur le bouton "Charger Le Modèle"
def load_model_button_clicked(model_name):
    """Charge le modèle et le tokenizer lors du clic sur le bouton"""
    global model, tokenizer
    try:
        model, tokenizer = load_model(model_name)
        return f"Modèle {model_name} chargé avec succès"
    except Exception as e:
        return f"Erreur lors du chargement du modèle {model_name}: {e}"

# Création de l'interface Gradio
demo = gr.Blocks()

with demo:
    gr.Markdown("""
    # Choisir un LLM

    **Renseigner un NomRepo/NomModele ou charger le modèle par défaut**

    **Attention : Inférence locale : Choisir un petit modèle : 1.5B maximum**

    **NB : ce HFSpace a pour but de tester rapidement des petits LLM : pas de format GGUF (et autres formats incompatibles listés ci-dessous)**

    **Formats Incompatibles :**
    - GGUF
    - Quantized Models
    - ONNX
    - Diffusers
    - Text-to-Speech (TTS)
    - Text-to-Image (T2I)
    - Stable Diffusion
    - Custom Code
    """)

    with gr.Row():
        # Textbox pour entrer le nom du modèle
        model_name_textbox = gr.Textbox(label="Renseigner Le Nom Du Modèle", value="prithivMLmods/Triangulum-1B", interactive=True)

    with gr.Row():
        # Bouton pour charger le modèle sélectionné
        LoadModel_button = gr.Button("Charger Le Modèle")
    
    with gr.Row():
        # Textbox pour entrer le texte d'entrée
        input_text = gr.Textbox(label="ChatBox")

    with gr.Row():
        # Sliders pour ajuster la longueur maximale et la température
        max_length_slider = gr.Slider(25, 1048, label="Nombre de Token", value=250)
        temperature_slider = gr.Slider(0.1, 1.0, label="Température", value=0.7)

    with gr.Row():
        # Bouton pour soumettre le texte d'entrée
        submit_button = gr.Button("Soumettre")

    with gr.Row():        
        # Textbox pour afficher le texte généré
        output_text = gr.Textbox(label="Réponse", interactive=False)

    # Ajout des interactions pour les boutons
    # Lors du clic sur "Charger Le Modèle", appeler la fonction load_model_button_clicked
#    LoadModel_button.click(
#        load_model_button_clicked,
#        inputs=model_name_textbox,
#        outputs=gr.Textbox(label="Message de chargement")
#    )

    LoadModel_button.click(
        load_model_button_clicked,
        inputs=model_name_textbox,
        outputs=[gr.Textbox(label="Message de chargement"), model_name_textbox]
    ).then(
        update_output_text_label,
        inputs=model_name_textbox,
        outputs=output_text
    )
    
    # Lors du clic sur "Soumettre", appeler la fonction main
    submit_button.click(
        main,
        inputs=[input_text, max_length_slider, temperature_slider, model_name_textbox],
        outputs=output_text,
        queue=False
    )

# Lancer l'application Gradio
if __name__ == "__main__":
    demo.launch()