Update app.py

app.py

@@ -523,10 +523,7 @@ def load_models():
         if hybrid_search and hybrid_search.bm25:
             logger.info(f"BM25 успешно инициализирован! Документов: {len(hybrid_search.corpus)}")
             
-            # Тестовый поиск для проверки
-            test_query = "метрология"
-            test_results = hybrid_search.search(test_query)
-            logger.info(f"Тестовый поиск по '{test_query}' вернул {len(test_results)} результатов")
+            
         else:
             logger.error("Не удалось инициализировать BM25!")
             st.error("Не удалось инициализировать текстовый поиск (BM25)")
@@ -678,15 +675,18 @@ def get_answer(question):
             
             # Формируем полный ответ
             answer = f"🤖 Ответ:\n\n{gpt_answer}\n\n"
-            answer += "🔍 Использованные источники:\n\n"
             
-            for i, res in enumerate(results, 1):
-                answer += f"### Источник {i}\n"
-                answer += f"{res['source']}\n\n"
+            # Собираем уникальные источники
+            unique_sources = list(set(res['source'] for res in results))
+            
+            if unique_sources:
+                answer += "📚 Использованные источники:\n"
+                for source in unique_sources:
+                    answer += f"- {source}\n"
             
             save_log(question, answer)
             return answer
-            
+                
         except Exception as e:
             logger.error(f"Ошибка при генерации ответа GPT: {str(e)}")
             
@@ -863,137 +863,3 @@ if st.checkbox("Показать историю запросов"):
     except Exception as e:
         st.warning(f"Ошибка при загрузке логов: {e}")
 
-# Диагностическая панель
-st.sidebar.subheader("Диагностика поиска")
-
-# Поле для тестового вопроса
-test_question = st.sidebar.text_input("Тестовый вопрос для диагностики", "метрология")
-
-if st.sidebar.button("Запустить диагностику FAISS"):
-    with st.sidebar.expander("Результаты диагностики", expanded=True):
-        st.write("### FAISS поиск для вопроса:")
-        st.write(f"'{test_question}'")
-        
-        try:
-            # Кодируем вопрос
-            question_embedding = model.encode([test_question])
-            question_embedding = question_embedding.astype('float32')
-            
-            # Ищем в FAISS индексе
-            distances, indices = faiss_index.search(question_embedding, 10)
-            
-            st.write("#### Топ-10 результатов FAISS:")
-            st.write(f"Индексы: {indices[0]}")
-            st.write(f"Расстояния: {distances[0]}")
-            
-            # Получаем текст чанков
-            conn = get_db_connection(VECTOR_DB_PATH)
-            cursor = conn.cursor()
-            
-            st.write("#### Содержимое чанков:")
-            for i, (distance, faiss_id) in enumerate(zip(distances[0], indices[0])):
-                cursor.execute("SELECT chunk_id FROM map WHERE faiss_id = ?", (int(faiss_id),))
-                map_result = cursor.fetchone()
-                
-                if map_result:
-                    chunk_id = map_result['chunk_id']
-                    cursor.execute("""
-                        SELECT c.chunk_text, d.doc_type_short, d.doc_number, d.file_name
-                        FROM content c
-                        JOIN documents d ON c.document_id = d.id
-                        WHERE c.id = ?
-                    """, (chunk_id,))
-                    chunk_result = cursor.fetchone()
-                    
-                    if chunk_result:
-                        similarity = 1 - distance
-                        st.write(f"##### Чанк {i+1} (ID: {chunk_id}, Сходство: {similarity:.2f}, Расстояние: {distance:.4f})")
-                        st.write(f"**Текст:** {chunk_result['chunk_text']}")
-                        
-                        source_parts = [
-                            str(chunk_result['doc_type_short']) if chunk_result['doc_type_short'] else None,
-                            str(chunk_result['doc_number']) if chunk_result['doc_number'] else None,
-                            str(chunk_result['file_name']) if chunk_result['file_name'] else None
-                        ]
-                        source = " ".join(filter(None, source_parts)) or "Неизвестный источник"
-                        st.write(f"**Источник:** {source}")
-                        st.write("---")
-            
-            conn.close()
-        except Exception as e:
-            st.error(f"Ошибка при диагностике: {e}")
-
-if st.sidebar.button("Запустить диагностику BM25"):
-    with st.sidebar.expander("Результаты диагностики BM25", expanded=True):
-        st.write("### BM25 поиск для вопроса:")
-        st.write(f"'{test_question}'")
-        
-        try:
-            # Логирование начала диагностики
-            logger.info(f"Запущена диагностика BM25 для вопроса: '{test_question}'")
-            
-            # Проверка инициализации
-            if not hybrid_search:
-                error_msg = "HybridSearch не инициализирован!"
-                logger.error(error_msg)
-                st.error(error_msg)
-                st.stop()
-            
-            if not hybrid_search.bm25:
-                error_msg = "BM25 не был инициализирован в HybridSearch!"
-                logger.error(error_msg)
-                st.error(error_msg)
-                st.stop()
-            
-            # Выполнение поиска
-            results = hybrid_search.search(test_question, top_k=5)
-            logger.info(f"Найдено результатов BM25: {len(results)}")
-            
-            if not results:
-                msg = "BM25 не вернул результатов (возможно, низкие оценки совпадения)"
-                logger.warning(msg)
-                st.warning(msg)
-            else:
-                st.success(f"Найдено результатов: {len(results)}")
-                for i, res in enumerate(results, 1):
-                    logger.info(
-                        f"Результат {i}: Оценка={res['score']:.2f}, "
-                        f"Тип={res.get('type', 'unknown')}, "
-                        f"Текст={res['text'][:50]}..."
-                    )
-                    
-                    st.markdown(f"#### Результат {i} (оценка: {res['score']:.2f})")
-                    st.write(f"**Текст:** {res['text']}")
-                    st.write(f"**Источник:** {res.get('source', 'нет данных')}")
-                    st.write("---")
-                    
-        except Exception as e:
-            error_msg = f"Критическая ошибка при диагностике BM25: {str(e)}"
-            logger.exception(error_msg)
-            st.error(error_msg)
-
-# Проверка содержимого SQLite базы
-if st.sidebar.button("Проверить SQLite на наличие термина"):
-    try:
-        conn = get_db_connection(SQLITE_DB_PATH)
-        cursor = conn.cursor()
-        
-        # Ищем все чанки, содержащие слово "метролог"
-        cursor.execute("""
-            SELECT c.id, c.chunk_text, d.doc_type_short, d.doc_number, d.file_name
-            FROM content c
-            JOIN documents d ON c.document_id = d.id
-            WHERE LOWER(c.chunk_text) LIKE LOWER(?)
-        """, (f"%{test_question}%",))
-        
-        results = cursor.fetchall()
-        
-        st.sidebar.write(f"Найдено {len(results)} чанков в SQLite базе:")
-        for row in results:
-            st.sidebar.write(f"Чанк ID: {row['id']}")
-            st.sidebar.write(f"Текст: {row['chunk_text'][:100]}...")
-            st.sidebar.write("---")
-            
-        conn.close()
-    except Exception as e:
-        st.sidebar.error(f"Ошибка при проверке SQLite: {e}")