Logging implemented

app.py

@@ -1,12 +1,16 @@
-import os
-import random
 import spaces
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 import gradio as gr
 from threading import Thread
-import logging
+
+import gspread
+from google.oauth2.service_account import Credentials
+
+import os
+import random
 from huggingface_hub import login
+import logging
 
 logging.basicConfig(level=logging.DEBUG)
 
@@ -16,7 +20,7 @@ login(token=HF_TOKEN)
 MODEL = "5to9/hygge_v33-500_merged"
 
 TITLE = """<h1><center>🇸🇪 Hygge – Möbelhauspoesie</center></h1>
-<p><center><strong>Kann ein klitzekleines Sprachmodell eine komplexe Markensprache lernen?</strong> Diese Frage beantwortet Hygge mit einem fröhlichen &quot;Vielleicht!&quot; Das Modell produziert Texte im Stil eines fiktiven Möbelhauses. Auch wenn es mit 8B Parametern winzig ist, gibt es sich Mühe, so zu texten wie die Großen. Klappt ein bisschen. Das Modell basiert auf <a href="https://huggingface.co/DiscoResearch/Llama3-DiscoLeo-Instruct-8B-v0.1">DiscoLeo 8B von Disco Research</a> einer deutschsprachigen Version von <a href="https://huggingface.co/meta-llama/Meta-Llama-3-8B"> Llama 3</a>. (Nicht wundern: Produkte haben die Namen von Simpsons Charakteren. Is halt so.)</center></p><p><center>Mehr Infos <a href='https://portfolio.oliverheidorn.de/project/hygge-llm'>in meinem Portfolio.</a></center><p></br>"""
+<p><center><strong>Kann ein klitzekleines Sprachmodell eine komplexe Markensprache lernen?</strong> Diese Frage beantwortet Hygge mit einem fröhlichen &quot;Vielleicht!&quot; Das Modell produziert Texte im Stil eines fiktiven Möbelhauses. Auch wenn es mit 8B Parametern winzig ist, gibt es sich Mühe, so zu texten wie die Großen. Klappt ein bisschen. Das Modell basiert auf <a href="https://huggingface.co/DiscoResearch/Llama3-DiscoLeo-Instruct-8B-v0.1">DiscoLeo 8B von Disco Research</a> einer deutschsprachig finegetuneten Version von <a href="https://huggingface.co/meta-llama/Meta-Llama-3-8B"> Llama 3</a>. (Nicht wundern: Produkte haben die Namen von Simpsons Charakteren. Is halt so.)</center></p><p><center>Mehr Infos <a href='https://portfolio.oliverheidorn.de/project/hygge-llm'>in meinem Portfolio.</a></center><p></br>"""
 
 PLACEHOLDER = """
 <center>
@@ -24,6 +28,7 @@ PLACEHOLDER = """
 </center>
 """
 
+SCOPES = ['https://www.googleapis.com/auth/spreadsheets', 'https://www.googleapis.com/auth/drive'] #spread scopes
 
 examples = ['🛁 Schreibe einen Werbetext über ein platzsparendes Badmöbel.',
         '🚀 Schreibe einen Werbetext über ein gemütlich eingerichtetes Raumschiff für eine Marsreise.',
@@ -40,15 +45,45 @@ examples = ['🛁 Schreibe einen Werbetext über ein platzsparendes Badmöbel.',
         '😵‍💫 Schreib einen Werbetext über Fheisbqlezdkalxzsk.'
     ]
 
+
 def generate_nested_examples(no_examples):
     return [[example] for example in random.sample(examples, no_examples)]
 
+nested_examples = generate_nested_examples(13)
+
+
 def starts_with_emoji(prompt_test):
     emojis = '🛁🚀🪐🧠🍌🗄️🪴🤦‍♂️🍽️🎄🕯️😵‍💫🫎' 
     return  prompt_test[0] in emojis
 
-nested_examples = generate_nested_examples(13)
-device = "cuda" # for GPU usage or "cpu" for CPU usage
+
+def get_google_credentials():
+    """Sets credentials for remote sheet"""
+    service_account_info = {
+        "type": "service_account",
+        "project_id": os.environ.get("GOOGLE_PROJECT_ID"),
+        "private_key_id": os.environ.get("GOOGLE_PRIVATE_KEY_ID"),
+        "private_key": os.environ.get("GOOGLE_PRIVATE_KEY").replace('\\n', '\n'),
+        "client_email": os.environ.get("GOOGLE_CLIENT_EMAIL"),
+        "client_id": os.environ.get("GOOGLE_CLIENT_ID"),
+        "auth_uri": os.environ.get("GOOGLE_AUTH_URI"),
+        "token_uri": os.environ.get("GOOGLE_TOKEN_URI"),
+        "auth_provider_x509_cert_url": os.environ.get("GOOGLE_AUTH_PROVIDER_CERT_URL"),
+        "client_x509_cert_url": os.environ.get("GOOGLE_CLIENT_CERT_URL")
+    }
+
+    credentials = Credentials.from_service_account_info(service_account_info,scopes=SCOPES)
+    return credentials
+
+
+def get_google_sheet():
+    """Intits auth, gets and returns instance of remote sheet"""
+    credentials = get_google_credentials()
+    client = gspread.authorize(credentials)
+    sheet = client.open("hygge_inference_logs").sheet1  # Open your Google Sheet
+    return sheet
+
+device = "cuda" # set manually to reflect architecture of hf spaces
 
 tokenizer = AutoTokenizer.from_pretrained(MODEL)
 model = AutoModelForCausalLM.from_pretrained(
@@ -58,6 +93,7 @@ model = AutoModelForCausalLM.from_pretrained(
 
 @spaces.GPU()
 def stream_chat(message: str, 
+                history: list,
                 system_prompt: str,
                 temperature: float = 0.8, 
                 max_new_tokens: int = 300, 
@@ -66,10 +102,10 @@ def stream_chat(message: str,
                 penalty: float = 1.2,
             ):
 
-    system_prompt = """Du bist ein hilfreicher Chatbot, der humorvolle und differenziert formulieren kann wie ein guter Werbetexter.
+    system_prompt = """Du bist ein hilfreicher Chatbot, der humorvoll und differenziert formulieren kann wie ein guter Werbetexter.
     Du erhältst vom User eine Anweisung. Befolge sie genau, greife das Thema der Anweisung auf jeden Fall auf und thematisiere es in deiner Antwort."""
 
-    logging.debug(f'message: {message}, system_prompt: {system_prompt}, temperature: {temperature}, max_new_tokens: {max_new_tokens}')
+    logging.debug(f'message: {message}, history: {history}, temperature: {temperature}, max_new_tokens: {max_new_tokens}')
 
     if starts_with_emoji(message):
         message = message[2:]
@@ -103,6 +139,8 @@ def stream_chat(message: str,
     for new_text in streamer:
         buffer += new_text
         yield buffer
+    
+    logging.debug(f'Generation done: {buffer}')
 
             
 chatbot = gr.Chatbot(height=400, placeholder=PLACEHOLDER)

requirements.txt

@@ -1,4 +1,6 @@
 huggingface_hub==0.22.2
 torch==2.4.0
 transformers[sentencepiece]
-accelerate
+accelerate
+gspread==6.1.2
+google-auth==2.35.0