ddssd

test_llama_omni_api.py

@@ -1,7 +1,7 @@
 #!/usr/bin/env python3
 """
 Test script for LLaMA-Omni API on Hugging Face Spaces.
-This script sends a text message to the LLaMA-Omni2 API and saves the response.
+This script sends a text message to the LLaMA-Omni2-0.5B API and saves the response.
 """
 
 import os
@@ -10,7 +10,7 @@ from pathlib import Path
 from gradio_client import Client
 
 # API endpoint
-API_URL = "https://marcosremar2-llama-omni.hf.space"
+API_URL = "https://marcosremar2-llama-omni.hf.space"  # Gradio Space URL
 
 # Input and output paths
 INPUT_AUDIO_PATH = "/Users/marcos/Documents/projects/test/whisper-realtime/llama-omni/llama-omni/test.mp3"
@@ -43,14 +43,14 @@ def main():
         print("\nUsing the text generation endpoint (/lambda_1)...")
         
         # Create a text prompt describing the audio
-        prompt = """This is a test of the LLaMA-Omni2 API. 
+        prompt = """This is a test of the LLaMA-Omni2-0.5B API. 
         Please respond with a sample of what you can do as an AI assistant."""
         
         # Submit the text to the API
         print(f"Sending text prompt: '{prompt[:50]}...'")
         job = client.submit(
             prompt,
-            "LLaMA-Omni2-7B-Bilingual",
+            "LLaMA-Omni2-0.5B",  # Updated model name
             api_name="/lambda_1"
         )
         
@@ -76,7 +76,7 @@ def main():
         print(f"Error during API request: {str(e)}")
         print("This could be because the Space is currently sleeping and needs time to wake up.")
         print("Try accessing the Space directly in a browser first: " + API_URL)
-        print("\nNote: This API appears to be a text-only LLaMA model and does not directly process audio files.")
+        print("\nNote: This API is for the LLaMA-Omni2-0.5B model and does not directly process audio files.")
         print("To work with audio, you would need to first transcribe the audio using a service like Whisper,")
         print("then send the transcribed text to this API.")
 

tests/README.md

@@ -0,0 +1,88 @@
+# Teste LLaMA-Omni2-0.5B no Hugging Face
+
+Este diretório contém um script simples para testar o modelo LLaMA-Omni2-0.5B implantado no Hugging Face.
+
+## Pré-requisitos
+
+Antes de executar o script de teste, certifique-se de ter instalado as dependências necessárias:
+
+```bash
+pip install requests
+```
+
+Para transcrição de áudio (opcional), você pode instalar o Whisper:
+
+```bash
+pip install openai-whisper
+```
+
+## Uso
+
+Você pode executar o script de teste usando o seguinte comando:
+
+```bash
+cd tests
+python test_llama_omni_api.py
+```
+
+Por padrão, o script irá:
+1. Tentar transcrever o arquivo test.mp3 usando Whisper (se disponível)
+2. Se o Whisper não estiver disponível, usará uma mensagem de teste padrão
+3. Salvar a transcrição em um arquivo de texto para facilitar a cópia
+4. Abrir a interface web do LLaMA-Omni2-0.5B no Hugging Face no seu navegador padrão
+5. Fornecer instruções para teste manual
+
+### Parâmetros de linha de comando
+
+O script aceita os seguintes argumentos de linha de comando:
+
+- `--api-url`: URL da interface Gradio (padrão: https://marcosremar2-llama-omni.hf.space)
+- `--audio-file`: Caminho para o arquivo de áudio a ser transcrito localmente (padrão: ../test.mp3)
+- `--text`: Texto para usar diretamente (em vez de transcrever áudio)
+- `--output-dir`: Diretório para salvar a transcrição (padrão: ../output)
+
+Exemplos de uso com parâmetros personalizados:
+
+```bash
+# Usando entrada de texto direta
+python test_llama_omni_api.py --text "Olá, esta é uma mensagem de teste para o LLaMA-Omni2-0.5B."
+
+# Usando um arquivo de áudio personalizado para transcrição
+python test_llama_omni_api.py --audio-file /caminho/para/seu/audio.mp3
+```
+
+## Processo de Teste Manual
+
+O script facilita o teste manual com o seguinte fluxo de trabalho:
+
+1. **Transcrição de Áudio**: Se um arquivo de áudio for fornecido, o script tentará transcrevê-lo localmente usando Whisper
+2. **Preparação do Texto**: O texto transcrito ou fornecido é salvo em um arquivo para fácil cópia
+3. **Abertura do Navegador**: O script abre a interface web no seu navegador padrão
+4. **Interação Manual**: Você precisa manualmente:
+   - Copiar o texto do arquivo salvo
+   - Colar no campo "Input Text" na interface web
+   - Clicar no botão "Generate"
+   - Aguardar a resposta
+   - Copiar e salvar a resposta para seus registros
+
+## Solução de Problemas
+
+Se encontrar algum problema:
+
+1. Verifique se a URL da interface web está correta e o serviço está em execução
+2. Certifique-se de ter uma conexão com a internet
+3. Se estiver usando transcrição de áudio, certifique-se de que o Whisper esteja instalado corretamente
+
+## Erros Comuns
+
+### Dependências Ausentes
+
+Se você ver erros como `ModuleNotFoundError: No module named 'torch'`, você precisa instalar os pacotes Python necessários:
+
+```bash
+pip install openai-whisper
+```
+
+### Deploy no Hugging Face
+
+Este script é apenas para teste do modelo LLaMA-Omni2-0.5B já implantado no Hugging Face. Para fazer o deploy do modelo no Hugging Face Spaces, você só precisa fazer push do seu código para o repositório correspondente no Hugging Face. 

tests/test_llama_omni_api.py

@@ -0,0 +1,155 @@
+#!/usr/bin/env python3
+"""
+Teste simples para o LLaMA-Omni2-0.5B no Hugging Face
+Este script transcreve áudio localmente e facilita o teste manual do modelo.
+"""
+
+import os
+import sys
+import argparse
+import requests
+import subprocess
+import webbrowser
+from pathlib import Path
+
+def transcribe_audio_locally(audio_file_path):
+    """
+    Transcreve áudio localmente usando whisper se disponível
+    Caso contrário, retorna uma mensagem padrão
+    """
+    try:
+        # Tenta usar whisper CLI se disponível
+        result = subprocess.run(
+            ["whisper", audio_file_path, "--model", "tiny", "--output_format", "txt"],
+            capture_output=True,
+            text=True,
+            check=True
+        )
+        transcript_file = f"{os.path.splitext(audio_file_path)[0]}.txt"
+        if os.path.exists(transcript_file):
+            with open(transcript_file, "r") as f:
+                transcript = f.read().strip()
+            print(f"Transcrição: {transcript}")
+            return transcript
+    except (subprocess.CalledProcessError, FileNotFoundError) as e:
+        print(f"Whisper não disponível ou erro: {e}")
+    
+    # Mensagem padrão
+    print("Usando mensagem de teste padrão, já que whisper não está disponível")
+    return "Olá, estou testando o modelo LLaMA-Omni2-0.5B. Você pode me responder em português?"
+
+def check_url_accessibility(url):
+    """Verifica se a URL é acessível"""
+    try:
+        response = requests.get(url, timeout=10)
+        if response.status_code == 200:
+            return True
+        else:
+            print(f"URL retornou código {response.status_code}")
+            return False
+    except Exception as e:
+        print(f"Erro ao acessar URL: {e}")
+        return False
+
+def save_transcription_to_file(text, output_dir, filename="transcription.txt"):
+    """Salva transcrição em arquivo para fácil cópia"""
+    os.makedirs(output_dir, exist_ok=True)
+    filepath = os.path.join(output_dir, filename)
+    
+    with open(filepath, "w") as f:
+        f.write(text)
+    
+    print(f"Transcrição salva em: {filepath}")
+    return filepath
+
+def test_llama_omni_manual(api_url, audio_file_path=None, text_input=None, output_dir="./output"):
+    """
+    Prepara o teste manual do LLaMA-Omni2-0.5B:
+    1. Transcreve áudio localmente (se fornecido)
+    2. Salva o texto em arquivo para fácil cópia
+    3. Abre a interface web para teste manual
+    
+    Args:
+        api_url: URL da interface Gradio
+        audio_file_path: Caminho para o arquivo de áudio
+        text_input: Texto para usar diretamente (em vez de transcrever áudio)
+        output_dir: Diretório para salvar a transcrição
+    
+    Returns:
+        bool: True se a preparação foi bem-sucedida, False caso contrário
+    """
+    # Cria diretório de saída se não existir
+    os.makedirs(output_dir, exist_ok=True)
+    
+    # Verifica se a URL é acessível
+    print(f"Verificando acessibilidade de {api_url}...")
+    if not check_url_accessibility(api_url):
+        print(f"Aviso: {api_url} não está acessível. Teste manual pode não ser possível.")
+    
+    # Obtém texto de entrada da transcrição ou do parâmetro
+    input_text = text_input
+    if not input_text and audio_file_path:
+        input_text = transcribe_audio_locally(audio_file_path)
+    if not input_text:
+        input_text = "Olá, estou testando o modelo LLaMA-Omni2-0.5B. Você pode me responder em português?"
+    
+    print(f"Texto para usar: {input_text}")
+    
+    # Salva o texto em arquivo para fácil cópia
+    transcript_file = save_transcription_to_file(input_text, output_dir)
+    
+    # Instruções para teste manual
+    print("\n" + "=" * 50)
+    print("INSTRUÇÕES PARA TESTE MANUAL")
+    print("=" * 50)
+    print(f"1. A transcrição foi salva em: {transcript_file}")
+    print(f"2. Abrindo {api_url} no navegador...")
+    print("3. Copie o texto do arquivo salvo e cole no campo 'Input Text'")
+    print("4. Clique no botão 'Generate'")
+    print("5. Quando receber a resposta, copie e salve para seus registros")
+    print("=" * 50 + "\n")
+    
+    # Abre a URL no navegador padrão
+    try:
+        webbrowser.open(api_url)
+        return True
+    except Exception as e:
+        print(f"Erro ao abrir navegador: {e}")
+        print(f"Por favor, visite manualmente: {api_url}")
+        return False
+
+def main():
+    parser = argparse.ArgumentParser(description="Teste para LLaMA-Omni2-0.5B no Hugging Face")
+    parser.add_argument("--api-url", type=str, default="https://huggingface.co/ICTNLP/LLaMA-Omni2-0.5B",
+                        help="URL da interface Gradio (padrão: https://huggingface.co/ICTNLP/LLaMA-Omni2-0.5B)")
+    parser.add_argument("--audio-file", type=str, default="../test.mp3",
+                        help="Caminho para o arquivo de áudio a ser transcrito localmente (opcional)")
+    parser.add_argument("--text", type=str, default=None,
+                        help="Texto para usar diretamente (em vez de transcrever áudio)")
+    parser.add_argument("--output-dir", type=str, default="../output",
+                        help="Diretório para salvar a transcrição")
+    args = parser.parse_args()
+    
+    # Converte caminhos relativos para absolutos
+    if args.audio_file and not os.path.isabs(args.audio_file):
+        if not os.path.exists(args.audio_file):
+            script_dir = os.path.dirname(os.path.abspath(__file__))
+            args.audio_file = os.path.join(script_dir, args.audio_file)
+    
+    if args.output_dir and not os.path.isabs(args.output_dir):
+        script_dir = os.path.dirname(os.path.abspath(__file__))
+        args.output_dir = os.path.join(script_dir, args.output_dir)
+    
+    # Executa o teste
+    success = test_llama_omni_manual(
+        api_url=args.api_url,
+        audio_file_path=args.audio_file if not args.text else None,
+        text_input=args.text,
+        output_dir=args.output_dir
+    )
+    
+    # Sai com código apropriado
+    sys.exit(0 if success else 1)
+
+if __name__ == "__main__":
+    main()