Update app.py

app.py

@@ -16,6 +16,7 @@ from nltk.tokenize import word_tokenize
 import openai
 import time
 from huggingface_hub import model_info
+from datetime import datetime
 
 # 1. Первым делом - настройка логирования (до всех операций)
 logging.basicConfig(
@@ -213,17 +214,6 @@ class HybridSearch:
 
 # Загрузка данных из XLSX
 @st.cache_data
-def load_data():
-    try:
-        data = pd.read_excel(XLSX_FILE_PATH, engine='openpyxl')
-        logger.info("Данные успешно загружены")
-        return data
-    except Exception as e:
-        logger.error("Ошибка при загрузке данных из XLSX файла: %s", e)
-        raise
-
-# Инициализация модели и FAISS индекса
-@st.cache_resource
 def load_models():
     """Загрузка моделей с подробным логированием и обработкой ошибок"""
     def log_model_info():
@@ -250,11 +240,6 @@ def load_models():
             )
             logger.info(f"Модель загружена за {time.time()-start_time:.2f} сек")
             logger.info(f"Размерность эмбеддингов: {model.get_sentence_embedding_dimension()}")
-            
-            # Проверка работы модели на тестовом тексте
-            test_text = "тестовый текст для проверки"
-            embedding = model.encode([test_text])
-            logger.info(f"Тестовая эмбеддинг-вектор: {embedding.shape}, норма={np.linalg.norm(embedding):.2f}")
         except Exception as e:
             logger.critical(f"Ошибка загрузки модели: {str(e)}")
             raise RuntimeError("Не удалось загрузить модель") from e
@@ -269,11 +254,6 @@ def load_models():
         try:
             faiss_index = faiss.read_index(FAISS_INDEX_PATH)
             logger.info(f"Индекс загружен (размерность: {faiss_index.d}, векторов: {faiss_index.ntotal})")
-            
-            # Проверка поиска по тестовому тексту
-            test_embedding = model.encode(["тестовый запрос"])
-            D, I = faiss_index.search(test_embedding.astype('float32'), 1)
-            logger.info(f"Тестовый поиск FAISS: расстояние={D[0][0]:.2f}, индекс={I[0][0]}")
         except Exception as e:
             logger.critical(f"Ошибка чтения индекса: {str(e)}")
             raise RuntimeError("Неверный формат FAISS индекса") from e
@@ -283,14 +263,19 @@ def load_models():
         hybrid_search = None
         
         if os.path.exists(VECTOR_DB_PATH):
+            db_size = os.path.getsize(VECTOR_DB_PATH)
+            last_modified = datetime.fromtimestamp(os.path.getmtime(VECTOR_DB_PATH)).strftime('%Y-%m-%d %H:%M:%S')
+            
             logger.info(f"Проверка базы для BM25:")
-            logger.info(f"  Размер файла: {os.path.getsize(VECTOR_DB_PATH)} байт")
-            logger.info(f"  Последнее изменение: {datetime.fromtimestamp(os.path.getmtime(VECTOR_DB_PATH))}")
+            logger.info(f"  Размер файла: {db_size} байт")
+            logger.info(f"  Последнее изменение: {last_modified}")
             
             try:
-                # Проверка структуры базы перед инициализацией
+                # Проверка структуры базы
                 conn = sqlite3.connect(VECTOR_DB_PATH)
                 cursor = conn.cursor()
+                
+                # Проверка существования таблиц
                 cursor.execute("SELECT name FROM sqlite_master WHERE type='table';")
                 tables = [row[0] for row in cursor.fetchall()]
                 logger.info(f"  Таблицы в базе: {tables}")
@@ -300,23 +285,23 @@ def load_models():
                     count = cursor.fetchone()[0]
                     logger.info(f"  Записей в content: {count}")
                     
-                    cursor.execute("SELECT chunk_text FROM content LIMIT 1")
-                    sample = cursor.fetchone()
-                    logger.info(f"  Пример текста: {sample[0][:50] if sample else 'НЕТ ДАННЫХ'}")
+                    if count > 0:
+                        cursor.execute("SELECT chunk_text FROM content LIMIT 1")
+                        sample = cursor.fetchone()
+                        logger.info(f"  Пример текста: {sample[0][:50] if sample else 'НЕТ ДАННЫХ'}")
                 
                 conn.close()
                 
-                # Инициализация BM25
+                # Инициализация HybridSearch
                 hybrid_search = HybridSearch(VECTOR_DB_PATH)
                 
-                if hybrid_search.bm25 is not None:
+                if hybrid_search and hybrid_search.bm25:
                     logger.info(f"BM25 успешно инициализирован! Документов: {len(hybrid_search.corpus)}")
-                    logger.info(f"Пример первого документа: {hybrid_search.corpus[0][:3]}...")
                 else:
-                    logger.error("BM25 не был создан в HybridSearch!")
+                    logger.error("Не удалось инициализировать BM25!")
                     
             except Exception as e:
-                logger.error(f"Ошибка инициализации гибридного поиска: {str(e)}", exc_info=True)
+                logger.error(f"Ошибка при проверке базы данных: {str(e)}", exc_info=True)
                 if 'conn' in locals():
                     conn.close()
         else: