feat: contextual embedding funcionando com modelo de concorrência

_utils/gerar_relatorio_modelo_usuario/EnhancedDocumentSummarizer.py

@@ -20,6 +20,7 @@ from rest_framework.response import Response
 from _utils.gerar_relatorio_modelo_usuario.contextual_retriever import (
     ContextualRetriever,
 )
+from asgiref.sync import sync_to_async
 
 
 class EnhancedDocumentSummarizer(DocumentSummarizer):
@@ -158,7 +159,7 @@ class EnhancedDocumentSummarizer(DocumentSummarizer):
             self.logger.error(f"Error in rank fusion retrieval: {str(e)}")
             raise
 
-    def generate_enhanced_summary(
+    async def generate_enhanced_summary(
         self,
         vector_store: Chroma,
         bm25: BM25Okapi,
@@ -220,17 +221,27 @@ class EnhancedDocumentSummarizer(DocumentSummarizer):
             from modelos_usuarios.models import ModeloUsuarioModel
 
             try:
-                modelo_buscado = ModeloUsuarioModel.objects.get(
+                # modelo_buscado = ModeloUsuarioModel.objects.get(
+                #     pk=self.id_modelo_do_usuario
+                # )
+                # serializer = ModeloUsuarioSerializer(modelo_buscado)
+                # print("serializer.data: ", serializer.data)
+                modelo_buscado = await sync_to_async(ModeloUsuarioModel.objects.get)(
                     pk=self.id_modelo_do_usuario
                 )
-                serializer = ModeloUsuarioSerializer(modelo_buscado)
+                serializer = await sync_to_async(ModeloUsuarioSerializer)(
+                    modelo_buscado
+                )
                 print("serializer.data: ", serializer.data)
 
-            except:
+            except Exception as e:
+                print("e: ", e)
                 return Response(
                     {
-                        "error": "Ocorreu um problema. Pode ser que o modelo não tenha sido encontrado. Tente novamente e/ou entre em contato com a equipe técnica"
-                    }
+                        "error": "Ocorreu um problema. Pode ser que o modelo não tenha sido encontrado. Tente novamente e/ou entre em contato com a equipe técnica",
+                        "full_error": e,
+                    },
+                    400,
                 )
 
             print("modelo_buscado: ", serializer.data["modelo"])

_utils/gerar_relatorio_modelo_usuario/contextual_retriever.py

@@ -21,16 +21,6 @@ from _utils.models.gerar_relatorio import (
 
 lista_contador = []
 
-
-def task(name, barrier, queue, chunk, full_text, config, claude_context_model):
-    """Função independente para processar um chunk."""
-    print(f"Process {name} ready")
-    barrier.wait()  # Espera todos os processos estarem prontos
-    retriever = ContextualRetriever(config, None, claude_context_model)
-    result = retriever.create_contextualized_chunk(chunk, full_text)
-    queue.put(result)  # Armazena o resultado na fila
-
-
 class ContextualRetriever:
     def __init__(
         self, config: RetrievalConfig, claude_api_key: str, claude_context_model: str
@@ -41,13 +31,13 @@ class ContextualRetriever:
         self.bm25 = None
         self.claude_context_model = claude_context_model
 
-    def llm_generate_context(self, full_text: str, chunk: DocumentChunk) -> str:
+    async def llm_generate_context(self, full_text: str, chunk: DocumentChunk) -> str:
         """Generate contextual description using ChatOpenAI"""
         try:
-            prompt = contextual_prompt(full_text, chunk.content)
             print("COMEÇOU A REQUISIÇÃO")
+            prompt = contextual_prompt(full_text, chunk.content)
             # response = claude_answer(self.claude_client, self.claude_context_model, prompt)
-            response = gpt_answer(prompt)
+            response = await gpt_answer(prompt)
             return response
         except Exception as e:
             self.logger.error(
@@ -55,7 +45,7 @@ class ContextualRetriever:
             )
             return ""
 
-    def create_contextualized_chunk(self, chunk, full_text):
+    async def create_contextualized_chunk(self, chunk, full_text):
         lista_contador.append(0)
         print("contador: ", len(lista_contador))
         page_content = ""
@@ -65,7 +55,7 @@ class ContextualRetriever:
         ):
             page_content += full_text[i].page_content if full_text[i] else ""
 
-        context = self.llm_generate_context(page_content, chunk)
+        context = await self.llm_generate_context(page_content, chunk)
         return ContextualizedChunk(
             content=chunk.content,
             page_number=chunk.page_number,
@@ -75,53 +65,18 @@ class ContextualRetriever:
             context=context,
         )
 
-    def contextualize_all_chunks(
+    async def contextualize_all_chunks(
         self, full_text: List[Document], chunks: List[DocumentChunk]
     ) -> List[ContextualizedChunk]:
         """Add context to all chunks"""
         contextualized_chunks = []
 
-        # tasks = [create_contextualized_chunk(chunk) for chunk in chunks]
-        # contextualized_chunks = await asyncio.gather(*tasks)
+        async with asyncio.TaskGroup() as tg:
+            tasks = [
+                tg.create_task(self.create_contextualized_chunk(chunk, full_text))
+                for chunk in chunks
+            ]
 
-        contextualized_chunks = self.main(chunks, full_text)
+        contextualized_chunks = [task.result() for task in tasks]
 
         return contextualized_chunks
-
-    # def task(self, name, barrier, queue, chunk, full_text):
-    #     print(f"Process {name} ready")
-    #     barrier.wait()  # Wait for all processes to be ready
-    #     result = self.create_contextualized_chunk(chunk, full_text)
-    #     queue.put(result)  # Store the result in the queue
-
-    def main(self, chunks, full_text):
-        barrier = Barrier(1)
-        queue = Queue()
-        processes = []
-
-        for i in range(len(chunks)):
-            p = Process(
-                target=task,
-                args=(
-                    f"P{i+1}",
-                    barrier,
-                    queue,
-                    chunks[i],
-                    full_text,
-                    self.config,
-                    self.claude_context_model,
-                ),
-            )
-            processes.append(p)
-            p.start()
-
-        results = []
-        for p in processes:
-            p.join()
-
-        # Collect results from the queue
-        while not queue.empty():
-            print("queue.get(): ", queue.get())
-            results.append(queue.get())
-
-        return results

_utils/gerar_relatorio_modelo_usuario/llm_calls.py

@@ -14,11 +14,12 @@ def claude_answer(claude_client, claude_context_model, prompt):
     ].text  # O response.content é uma lista pois é passada uma lista de mensagens, e também retornado uma lista de mensagens, sendo a primeira a mais recente, que é a resposta do model
 
 
-def gpt_answer(prompt):
+async def gpt_answer(prompt):
     gpt = ChatOpenAI(
         temperature=0,
         model="gpt-4o-mini",
         api_key=os.environ.get("OPENAI_API_KEY"),
+        max_retries=5,
     )
-    response = gpt.invoke([HumanMessage(content=prompt)])
+    response = await gpt.ainvoke([HumanMessage(content=prompt)])
     return response.content

_utils/resumo_completo_cursor.py

@@ -34,7 +34,7 @@ os.environ.get("LANGCHAIN_API_KEY")
 os.environ["LANGCHAIN_PROJECT"] = "VELLA"
 
 
-def get_llm_summary_answer_by_cursor_complete(
+async def get_llm_summary_answer_by_cursor_complete(
     serializer, listaPDFs=None, contexto=None
 ):
     """Parâmetro "contexto" só deve ser passado quando quiser utilizar o teste com ragas, e assim, não quiser passar PDFs"""
@@ -89,12 +89,12 @@ def get_llm_summary_answer_by_cursor_complete(
         full_text = " ".join([page.page_content for page in pages])
     # Contextualize chunks
     if serializer["should_have_contextual_chunks"]:
-        # contextualized_chunks = (
-        #     await summarizer.contextual_retriever.contextualize_all_chunks(
-        #         pages, allPdfsChunks
-        #     )
-        # )
-        # chunks_passados = contextualized_chunks
+        contextualized_chunks = (
+            await summarizer.contextual_retriever.contextualize_all_chunks(
+                pages, allPdfsChunks
+            )
+        )
+        chunks_passados = contextualized_chunks
         is_contextualized_chunk = True
     else:
         chunks_passados = allPdfsChunks
@@ -136,7 +136,7 @@ Não há outras causas interruptivas ou suspensivas da prescrição.
 </formato>
 """
     # Generate enhanced summary
-    structured_summaries = summarizer.generate_enhanced_summary(
+    structured_summaries = await summarizer.generate_enhanced_summary(
         vector_store,
         bm25,
         chunk_ids
@@ -145,11 +145,18 @@ Não há outras causas interruptivas ou suspensivas da prescrição.
         prompt_relatorio_sem_context,
     )
 
+    if not isinstance(structured_summaries, list):
+        from rest_framework.response import Response
+
+        return Response({"erro": structured_summaries})
+
     # Output results as JSON
-    json_output = json.dumps(structured_summaries, indent=2)
-    print("\nStructured Summaries:")
-    print(json_output)
+    # json_output = json.dumps(structured_summaries, indent=2)
+    # print("\nStructured Summaries:")
+    # print(json_output)
     texto_completo = ""
+    print("\n\n\n")
+    print("structured_summaries: ", structured_summaries)
     for x in structured_summaries:
         texto_completo = texto_completo + x["content"] + "\n"
     return {

gerar_relatorio_modelo_usuario/views.py

@@ -13,13 +13,13 @@ from rest_framework.parsers import MultiPartParser
 from drf_spectacular.utils import extend_schema
 
 
-class ResumoSimplesCursorCompletoView(APIView):
+class ResumoSimplesCursorCompletoView(AsyncAPIView):
     parser_classes = [MultiPartParser]
 
     @extend_schema(
         request=ResumoCursorCompeltoSerializer,
     )
-    def post(self, request):
+    async def post(self, request):
         serializer = ResumoCursorCompeltoSerializer(data=request.data)
         if serializer.is_valid(raise_exception=True):
             print("\n\n\n")
@@ -44,7 +44,12 @@ class ResumoSimplesCursorCompletoView(APIView):
                     listaPDFs.append(temp_file_path)
             print("listaPDFs: ", listaPDFs)
 
-            resposta_llm = get_llm_summary_answer_by_cursor_complete(data, listaPDFs)
+            resposta_llm = await get_llm_summary_answer_by_cursor_complete(
+                data, listaPDFs
+            )
+
+            print("\n\n\n")
+            print("resposta_llm: ", resposta_llm)
 
             final = resposta_llm
             print("\n\n\n")