Update app.py

app.py

@@ -38,10 +38,12 @@ logging.info(f"Загрузка модели {model_name}...")
 model = SentenceTransformer(model_name)
 logging.info("Модель загружена успешно.")
 
-# Jina AI API Key
-JINA_API_KEY = os.environ.get("JINA_API_KEY")
+# Jina AI Reranker API
+JINA_API_URL = 'https://api.jina.ai/v1/rerank'
+JINA_API_KEY = os.environ.get("JINA_API_KEY")  # Получение ключа из переменной окружения
 if JINA_API_KEY is None:
     raise ValueError("JINA_API_KEY environment variable not set.")
+JINA_RERANKER_MODEL = "jina-reranker-v2-base-multilingual"
 
 # Имена таблиц
 embeddings_table = "movie_embeddings"
@@ -78,9 +80,6 @@ batch_size = 32
 # Количество потоков для параллельной обработки
 num_threads = 5
 
-# Количество потоков для параллельного реранкинга (Jina AI не имеет жестких ограничений)
-rerank_threads = 5
-
 def get_db_connection():
     """Устанавливает соединение с базой данных."""
     try:
@@ -298,14 +297,9 @@ def get_movie_embeddings(conn):
         logging.error(f"Ошибка при загрузке эмбеддингов фильмов: {e}")
     return movie_embeddings
 
-def rerank_with_jina(query, results, top_n):
-    """Переранжирует результаты с помощью Jina AI."""
-    url = 'https://api.jina.ai/v1/rerank'
-    headers = {
-        'Content-Type': 'application/json',
-        'Authorization': f'Bearer {JINA_API_KEY}'
-    }
-
+def rerank_with_api(query, results):
+    """Переранжирует результаты с помощью Jina AI Reranker API."""
+    logging.info(f"Начало переранжирования для запроса: '{query}'")
     documents = []
     for movie_id, _ in results:
         movie = next((m for m in movies_data if m['id'] == movie_id), None)
@@ -314,43 +308,43 @@ def rerank_with_jina(query, results, top_n):
             documents.append({"text": movie_info})
 
     data = {
-        "model": "jina-reranker-v2-base-multilingual",
+        "model": JINA_RERANKER_MODEL,
         "query": query,
-        "top_n": top_n,
+        "top_n": len(results),
         "documents": documents
     }
-    
-    logging.info(f"Отправка запроса к Jina AI для переранжирования {len(documents)} документов...")
-    
+    logging.info(f"Отправка данных на реранк (Jina AI API):\n{data}")
+
+    headers = {
+        'Content-Type': 'application/json',
+        'Authorization': f'Bearer {JINA_API_KEY}'
+    }
+
     try:
-        response = requests.post(url, headers=headers, json=data)
-        response.raise_for_status()
+        response = requests.post(JINA_API_URL, headers=headers, json=data)
+        response.raise_for_status()  # Проверка на ошибки HTTP
         response_json = response.json()
-        
-        reranked_results = []
-        for result in response_json['results']:
-            reranked_results.append((results[result['index']][0], result['relevance_score']))
+        logging.info(f"Ответ от Jina AI API: {response_json}")
 
-        logging.info(f"Jina AI: Успешно переранжировано. Задействовано токенов: {response_json['usage']['total_tokens']}")
+        reranked_results = []
+        for result in response_json.get("results", []):
+            index = result.get("index")
+            score = result.get("relevance_score")
+            if index is not None and score is not None:
+              reranked_results.append((results[index][0], score))
+
+        reranked_results.sort(key=lambda x: x[1], reverse=True)
+        logging.info("Переранжирование завершено.")
         return reranked_results
     
     except requests.exceptions.RequestException as e:
-        logging.error(f"Ошибка запроса к Jina AI: {e}")
+        logging.error(f"Ошибка при запросе к Jina AI Reranker API: {e}")
         return []
-    except KeyError as e:
-        logging.error(f"Ошибка обработки ответа от Jina AI: {e}. Полный ответ: {response_json}")
+    except (KeyError, ValueError) as e:
+        logging.error(f"Ошибка при обработке ответа от Jina AI Reranker API: {e}")
         return []
-
-def rerank_results(query, results, top_k):
-    """Переранжирует результаты поиска с помощью Jina AI."""
-    logging.info(f"Начало переранжирования для запроса: '{query}'")
-
-    # Jina AI не имеет жестких ограничений, поэтому можем обрабатывать все результаты за раз
-    reranked_results = rerank_with_jina(query, results, top_k)
-
-    reranked_results = sorted(reranked_results, key=lambda x: x[1], reverse=True)
-    logging.info("Переранжирование завершено.")
-    return reranked_results
+    finally:
+        time.sleep(0.5)
 
 def search_movies(query, top_k=20):
     """Выполняет поиск фильмов по запросу."""
@@ -395,7 +389,7 @@ def search_movies(query, top_k=20):
                     FROM {embeddings_table} m, query_embedding
                     ORDER BY similarity DESC
                     LIMIT %s
-                """, (query_crc32, int(top_k * 2)))  # Увеличиваем лимит до * 2
+                """, (query_crc32, int(top_k * 1.1)))
 
                 results = cur.fetchall()
             logging.info(f"Найдено {len(results)} предварительных результатов поиска.")
@@ -404,7 +398,7 @@ def search_movies(query, top_k=20):
             results = []
 
         # Переранжируем результаты
-        reranked_results = rerank_results(query, results, top_k)
+        reranked_results = rerank_with_api(query, results)
 
         output = ""
         for movie_id, score in reranked_results[:top_k]:
@@ -414,7 +408,7 @@ def search_movies(query, top_k=20):
                 output += f"<h3>{movie['name']} ({movie['year']})</h3>\n"
                 output += f"<p><strong>Жанры:</strong> {movie['genreslist']}</p>\n"
                 output += f"<p><strong>Описание:</strong> {movie['description']}</p>\n"
-                output += f"<p><strong>Релевантность (Jina AI reranker score):</strong> {score:.4f}</p>\n"
+                output += f"<p><strong>Релевантность (reranker score):</strong> {score:.4f}</p>\n"
                 output += "<hr>\n"
 
         search_time = time.time() - start_time