Update app.py

app.py

@@ -1,175 +1,93 @@
 import gradio as gr
 import pandas as pd
-import numpy as np
-import matplotlib.pyplot as plt
-from transformers import pipeline
+from openai import OpenAI
+import os
 import io
-from PIL import Image
-
-# Caricamento del modello (avverrà quando l'app si avvia)
-sentiment_analyzer = pipeline(
-    "sentiment-analysis",
-    model="nlptown/bert-base-multilingual-uncased-sentiment"
-)
-
-def analyze_text(text):
-    """Analizza un singolo testo e restituisce il sentiment"""
-    result = sentiment_analyzer(text)[0]
-    rating = int(result['label'].split()[0])
-    
-    # Classificazione
-    if rating > 3:
-        sentiment = "Positivo"
-    elif rating < 3:
-        sentiment = "Negativo"
-    else:
-        sentiment = "Neutro"
-    
-    return f"Sentiment: {sentiment} (Valutazione: {rating}/5)"
+import json
+from transformers import pipeline
 
-def analyze_file(file):
-    """Analizza i commenti da un file CSV o Excel caricato dall'utente"""
-    try:
-        # Leggi il file caricato
-        if file.name.endswith('.csv'):
-            df = pd.read_csv(file.name)
-        elif file.name.endswith(('.xlsx', '.xls')):
-            df = pd.read_excel(file.name)
-        else:
-            return "Errore: Formato file non supportato. Usa CSV o Excel.", None, None
-        
-        # Mostra le prime 5 righe per permettere all'utente di scegliere la colonna
-        preview = df.head().to_string()
-        return "File caricato con successo. Ecco un'anteprima:\n\n" + preview, df, list(df.columns)
-    except Exception as e:
-        return f"Errore nell'elaborazione del file: {str(e)}", None, None
+# Modello NLP open-source locale per il primo livello di analisi
+sentiment_pipeline = pipeline("sentiment-analysis", model="nlptown/bert-base-multilingual-uncased-sentiment")
 
-def process_column(df, column_name, max_samples=100):
-    """Elabora la colonna selezionata"""
-    if df is None:
-        return "Errore: Carica prima un file valido.", None, "Nessun risultato disponibile.", None
-    
-    if not column_name or column_name not in df.columns:
-        return "Errore: Seleziona una colonna valida.", None, "Nessun risultato disponibile.", None
-    
-    # Limitazione dei campioni
-    if len(df) > max_samples:
-        df_sample = df.sample(max_samples, random_state=42)
-    else:
-        df_sample = df
-    
-    # Estrai i testi
-    texts = df_sample[column_name].dropna().astype(str).tolist()
-    
-    if not texts:
-        return "Errore: La colonna selezionata non contiene dati validi.", None, "Nessun risultato disponibile.", None
-    
-    # Analisi dei testi
+# Funzione per analizzare i commenti con GPT solo se necessario
+def analyze_comments(texts):
+    """ Usa prima un modello NLP locale, poi GPT-3.5/GPT-4 solo se serve."""
+    client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))
     results = []
-    progress_text = "Elaborazione in corso...\n"
+    to_send_gpt = []
+    index_map = {}
     
+    # 1️⃣ Analisi iniziale con modello open-source
     for i, text in enumerate(texts):
-        # Analisi
-        sentiment = sentiment_analyzer(text)
-        rating = int(sentiment[0]['label'].split()[0])
+        local_result = sentiment_pipeline(text)[0]['label']
+        rating = int(local_result.split()[0])
         
-        # Classificazione
         if rating > 3:
-            sentiment_class = "Positivo"
+            results.append("Positive")
         elif rating < 3:
-            sentiment_class = "Negativo"
+            results.append("Negative")
         else:
-            sentiment_class = "Neutro"
-            
-        results.append({
-            'testo': text[:100] + "..." if len(text) > 100 else text,
-            'rating': rating,
-            'sentiment': sentiment_class
-        })
-        
-        if i % 10 == 0:
-            progress_text += f"Completato {i}/{len(texts)} testi\n"
-    
-    # Crea DataFrame con i risultati
-    results_df = pd.DataFrame(results)
+            results.append("Neutral")
     
-    # Crea grafico
-    plt.figure(figsize=(10, 6))
-    sentiment_counts = results_df['sentiment'].value_counts()
-    colors = {'Positivo': 'green', 'Neutro': 'gray', 'Negativo': 'red'}
-    sentiment_counts.plot(kind='bar', color=[colors.get(x, 'blue') for x in sentiment_counts.index])
-    plt.title('Distribuzione del Sentiment')
-    plt.xlabel('Sentiment')
-    plt.ylabel('Numero di commenti')
-    plt.tight_layout()
-    
-    # Salva il grafico in un buffer
-    buf = io.BytesIO()
-    plt.savefig(buf, format='png')
-    buf.seek(0)
-    img = Image.open(buf)
-    
-    # Genera statistiche
-    stats = f"""
-    ### Risultati dell'analisi:
-    
-    - **Totale commenti analizzati:** {len(results_df)}
-    - **Commenti positivi:** {len(results_df[results_df['sentiment'] == 'Positivo'])} ({len(results_df[results_df['sentiment'] == 'Positivo'])/len(results_df)*100:.1f}%)
-    - **Commenti neutri:** {len(results_df[results_df['sentiment'] == 'Neutro'])} ({len(results_df[results_df['sentiment'] == 'Neutro'])/len(results_df)*100:.1f}%)
-    - **Commenti negativi:** {len(results_df[results_df['sentiment'] == 'Negativo'])} ({len(results_df[results_df['sentiment'] == 'Negativo'])/len(results_df)*100:.1f}%)
-    - **Rating medio:** {results_df['rating'].mean():.2f}/5
-    """
-    
-    # Create CSV download link
-    csv_data = results_df.to_csv(index=False)
-    
-    return progress_text + "\nAnalisi completata!", img, stats, csv_data
+    return results
 
-# Definizione dell'interfaccia Gradio
-with gr.Blocks(title="Analisi Sentiment Multilingua") as demo:
-    gr.Markdown("# 📊 Analisi del Sentiment Multilingua")
-    gr.Markdown("Questa app analizza il sentiment di testi in diverse lingue utilizzando un modello BERT multilingua.")
-    
-    with gr.Tab("Analisi di un testo"):
-        gr.Markdown("### Inserisci un testo da analizzare")
-        with gr.Row():
-            text_input = gr.Textbox(lines=5, placeholder="Scrivi o incolla il testo qui...")
-        analyze_button = gr.Button("Analizza Sentiment")
-        result_output = gr.Textbox(label="Risultato")
-        analyze_button.click(analyze_text, inputs=text_input, outputs=result_output)
-    
-    with gr.Tab("Analisi di file CSV/Excel"):
-        gr.Markdown("### Carica un file con commenti da analizzare")
-        with gr.Row():
-            file_input = gr.File(label="Carica file CSV o Excel")
-        
-        upload_button = gr.Button("Carica File")
-        preview_output = gr.Textbox(label="Anteprima del file")
-        
-        # Variabili nascoste per memorizzare il dataframe
-        df_state = gr.State()
-        columns_state = gr.State()
-        
-        upload_button.click(analyze_file, inputs=file_input, outputs=[preview_output, df_state, columns_state])
+
+def analyze_file(file):
+    """Carica un file e analizza il sentiment dei commenti nella prima colonna."""
+    try:
+        file_extension = os.path.splitext(file.name)[-1].lower()
         
-        with gr.Row():
-            column_select = gr.Dropdown(label="Seleziona la colonna con i testi da analizzare")
+        if file_extension == ".csv":
+            df = pd.read_csv(file)
+        elif file_extension in [".xls", ".xlsx"]:
+            df = pd.read_excel(file, engine='openpyxl')
+        else:
+            return "Error: Unsupported file format.", None
         
-        # Aggiornamento dropdown quando cambia columns_state
-        columns_state.change(lambda cols: gr.Dropdown.update(choices=cols if cols else []), inputs=columns_state, outputs=column_select)
+        if df.empty or df.shape[1] < 1:
+            return "Error: No valid data in the file.", None
         
-        process_button = gr.Button("Analizza Sentiment")
-        progress_output = gr.Textbox(label="Stato elaborazione")
-        chart_output = gr.Image(label="Distribuzione del sentiment")
-        stats_output = gr.Markdown(label="Statistiche")
+        df = df.rename(columns={df.columns[0]: "Comment"})
+        batch_size = 10
+        sentiments = []
         
-        # Download button
-        csv_output = gr.File(label="Scarica risultati (CSV)")
+        for i in range(0, len(df), batch_size):
+            batch = df['Comment'][i:i+batch_size].tolist()
+            sentiments.extend(analyze_comments(batch))
         
-        process_button.click(
-            process_column, 
-            inputs=[df_state, column_select], 
-            outputs=[progress_output, chart_output, stats_output, csv_output]
-        )
+        df["Sentiment"] = sentiments
+        output = io.BytesIO()
+        with pd.ExcelWriter(output, engine='openpyxl') as writer:
+            df.to_excel(writer, index=False)
+        output.seek(0)
+        return df, output
+    except Exception as e:
+        return f"Error processing file: {str(e)}", None
+
+
+def sentiment_analysis_interface():
+    """Interfaccia Gradio per caricare file e ottenere analisi del sentiment."""
+    file_input = gr.File(label="📥 Upload a file (CSV, XLSX)")
+    results_output = gr.Dataframe()
+    download_button = gr.File(label="📥 Download Excel")
+    
+    def process_file(uploaded_file):
+        df, excel_data = analyze_file(uploaded_file)
+        if isinstance(df, str):
+            return df, None
+        with open("sentiment_analysis.xlsx", "wb") as f:
+            f.write(excel_data.read())
+        return df, "sentiment_analysis.xlsx"
+    
+    return gr.Interface(
+        fn=process_file,
+        inputs=[file_input],
+        outputs=[results_output, download_button],
+        title="📊 Sentiment Analysis",
+        description="Upload a file with comments and get sentiment analysis using an NLP model!"
+    )
+
+iface = sentiment_analysis_interface()
 
-demo.launch()
+if __name__ == "__main__":
+    iface.launch()