feat: ajustando endpoint de /gerar-documento para receber a URL do PDF do bubble pela requisição feita pelo front

_utils/bubble_integrations/obter_arquivo.py

@@ -1,7 +1,23 @@
+# from setup.easy_imports import PyPDFLoader
+import os
+from langchain_community.document_loaders import PyPDFLoader
+
 import requests
 
-version_url = "version-test"
+headers = {"Authorization": f"Bearer {os.environ.get("BUBBLE_TOKEN")}"}
+
+
+# def obter_arquivo(id_arquivo="1735864318176x375804955201372160"):
+#     return requests.get(
+#         f"https://vella.app.br/version-test/api/1.1/obj/formresponseanswer/{id_arquivo}",
+#         headers=headers,
+#     )
+
 
+def get_pdf_from_bubble(
+    file_url=f"https://vella.app.br/version-test/fileupload/f1735864316650x718601440484441900/Boleto_DIGITICS%20Servic%CC%A7os%20de%20Secretariado%20LTDA_30_12_2024_804841714.pdf",
+    bubble_editor_version="version-test",
+):
+    result = PyPDFLoader(file_url, headers=headers)
 
-def obter_arquivo():
-    requests.post(f"https://vella.app.br/{version_url}/api/1.1/wf/obter_arquivo")
+    return result

_utils/gerar_relatorio_modelo_usuario/EnhancedDocumentSummarizer.py

@@ -40,7 +40,7 @@ class EnhancedDocumentSummarizer(DocumentSummarizer):
         prompt_auxiliar,
         gpt_model,
         gpt_temperature,
-        id_modelo_do_usuario,
+        # id_modelo_do_usuario,
         prompt_gerar_documento,
         reciprocal_rank_fusion,
     ):
@@ -61,7 +61,7 @@ class EnhancedDocumentSummarizer(DocumentSummarizer):
         self.prompt_auxiliar = prompt_auxiliar
         self.gpt_model = gpt_model
         self.gpt_temperature = gpt_temperature
-        self.id_modelo_do_usuario = id_modelo_do_usuario
+        # self.id_modelo_do_usuario = id_modelo_do_usuario
         self.prompt_gerar_documento = prompt_gerar_documento
         self.reciprocal_rank_fusion = reciprocal_rank_fusion
         self.resumo_gerado = ""
@@ -178,33 +178,33 @@ class EnhancedDocumentSummarizer(DocumentSummarizer):
             #     )
 
             # modelo_buscado = resposta.json()["modelo"]
-            from modelos_usuarios.models import ModeloUsuarioModel
-
-            try:
-                # modelo_buscado = ModeloUsuarioModel.objects.get(
-                #     pk=self.id_modelo_do_usuario
-                # )
-                # serializer = ModeloUsuarioSerializer(modelo_buscado)
-                # print("serializer.data: ", serializer.data)
-                modelo_buscado = await sync_to_async(ModeloUsuarioModel.objects.get)(
-                    pk=self.id_modelo_do_usuario
-                )
-                serializer = await sync_to_async(ModeloUsuarioSerializer)(
-                    modelo_buscado
-                )
-                print("serializer.data: ", serializer.data)
+            # from modelos_usuarios.models import ModeloUsuarioModel
 
-            except Exception as e:
-                print("e: ", e)
-                return Response(
-                    {
-                        "error": "Ocorreu um problema. Pode ser que o modelo não tenha sido encontrado. Tente novamente e/ou entre em contato com a equipe técnica",
-                        "full_error": e,
-                    },
-                    400,
-                )
+            # try:
+            #     # modelo_buscado = ModeloUsuarioModel.objects.get(
+            #     #     pk=self.id_modelo_do_usuario
+            #     # )
+            #     # serializer = ModeloUsuarioSerializer(modelo_buscado)
+            #     # print("serializer.data: ", serializer.data)
+            #     modelo_buscado = await sync_to_async(ModeloUsuarioModel.objects.get)(
+            #         pk=self.id_modelo_do_usuario
+            #     )
+            #     serializer = await sync_to_async(ModeloUsuarioSerializer)(
+            #         modelo_buscado
+            #     )
+            #     print("serializer.data: ", serializer.data)
+
+            # except Exception as e:
+            #     print("e: ", e)
+            #     return Response(
+            #         {
+            #             "error": "Ocorreu um problema. Pode ser que o modelo não tenha sido encontrado. Tente novamente e/ou entre em contato com a equipe técnica",
+            #             "full_error": e,
+            #         },
+            #         400,
+            #     )
 
-            print("modelo_buscado: ", serializer.data["modelo"])
+            # print("modelo_buscado: ", serializer.data["modelo"])
 
             llm = ChatOpenAI(
                 temperature=self.gpt_temperature,
@@ -212,29 +212,30 @@ class EnhancedDocumentSummarizer(DocumentSummarizer):
                 api_key=self.openai_api_key,
             )
 
-            prompt_gerar_relatorio = PromptTemplate(
+            prompt_auxiliar = PromptTemplate(
                 template=self.prompt_auxiliar, input_variables=["context"]
             )
 
-            relatorio_gerado = llm.invoke(
-                prompt_gerar_relatorio.format(context="\n\n".join(contexts))
+            resumo_auxiliar_do_documento = llm.invoke(
+                prompt_auxiliar.format(context="\n\n".join(contexts))
             )
 
-            self.resumo_gerado = relatorio_gerado.content
+            self.resumo_gerado = resumo_auxiliar_do_documento.content
 
-            prompt_gerar_modelo = PromptTemplate(
+            prompt_gerar_documento = PromptTemplate(
                 template=self.prompt_gerar_documento,
-                input_variables=["context", "modelo_usuario"],
+                input_variables=["context"],
             )
 
-            modelo_gerado = llm.invoke(
-                prompt_gerar_modelo.format(
-                    context=relatorio_gerado, modelo_usuario=serializer.data["modelo"]
+            documento_gerado = llm.invoke(
+                prompt_gerar_documento.format(
+                    context=resumo_auxiliar_do_documento,
+                    # modelo_usuario=serializer.data["modelo"],
                 )
             ).content
 
             # Split the response into paragraphs
-            summaries = [p.strip() for p in modelo_gerado.split("\n\n") if p.strip()]
+            summaries = [p.strip() for p in documento_gerado.split("\n\n") if p.strip()]
 
             # Create structured output
             structured_output = []

_utils/gerar_relatorio_modelo_usuario/contextual_retriever.py

@@ -1,7 +1,9 @@
 import os
+
 # from _utils.gerar_relatorio_modelo_usuario.prompts import (
 #     prompt_auxiliar_do_contextual_prompt,
 # )
+from _utils.bubble_integrations.obter_arquivo import get_pdf_from_bubble
 from _utils.chains.Chain_class import Chain
 from _utils.prompts.Prompt_class import Prompt
 from _utils.splitters.Splitter_class import Splitter
@@ -120,7 +122,8 @@ def get_full_text_and_all_PDFs_chunks(contexto, listaPDFs, splitterObject: Split
             chunks = splitterObject.load_and_split_document(pdf_path)
             all_PDFs_chunks = all_PDFs_chunks + chunks
         # Get full text for contextualization
-        loader = PyPDFLoader(pdf_path)
+        # loader = PyPDFLoader(pdf_path)
+        loader = get_pdf_from_bubble(pdf_path)
         pages = loader.load()
         full_text = " ".join([page.page_content for page in pages])
 

_utils/gerar_relatorio_modelo_usuario/prompts.py

@@ -1,3 +1,62 @@
+prompt_auxiliar_do_contextual_prompt = """Você é um assistente jurídico especializado em direito brasileiro. Sua tarefa é criar um resumo conciso e informativo de um processo jurídico, de acordo com as leis do Brasil. O resumo deve focar nos momentos cruciais do processo, na última movimentação processual e nas principais movimentações que ocorreram.
+
+Aqui estão as 10 principais peças processuais em ordem cronológica do processo civil brasileiro que você deve priorizar em sua análise:
+1. Petição Inicial
+2. Contestação
+3. Réplica
+4. Decisão de Saneamento
+5. Sentença
+6. Recurso de Apelação
+7. Embargos de Declaração
+8. Cumprimento de Sentença
+9. Embargos à Execução
+10. Agravo de Instrumento
+
+Siga este passo a passo para criar o resumo:
+
+1. Leia atentamente todo o processo jurídico fornecido.
+<processo_juridico>
+{{PROCESSO_JURIDICO}}
+</processo_juridico>
+
+2. Identifique e anote as datas e conteúdos relevantes relacionados às 10 peças processuais listadas acima.
+
+3. Organize cronologicamente as informações coletadas.
+
+4. Destaque a última movimentação processual e seu significado para o andamento do processo.
+
+5. Resuma as principais movimentações, focando em seu impacto no processo.
+
+6. Elabore um texto coeso que apresente o fluxo do processo, destacando os pontos cruciais e as decisões mais importantes.
+
+Após criar o resumo inicial, utilize a técnica socrática de reflexão para garantir a precisão e completude do resumo. Faça a si mesmo as seguintes perguntas:
+
+1. O resumo abrange todas as 10 peças processuais principais?
+2. A última movimentação processual está claramente identificada e explicada?
+3. O texto apresenta uma visão clara do fluxo do processo?
+4. Todas as informações cruciais para o entendimento do caso estão incluídas?
+5. O resumo está livre de opiniões pessoais e se atém aos fatos do processo?
+6. A linguagem utilizada é clara e acessível, mesmo para quem não é especialista em direito?
+
+Revise e ajuste o resumo conforme necessário com base nessa reflexão.
+
+O resumo final deve ter no máximo 2 páginas de extensão (aproximadamente 1000 palavras).
+
+Formate sua resposta da seguinte maneira:
+
+<resumo_processo>
+[Insira aqui o resumo do processo jurídico]
+</resumo_processo>
+
+<reflexao_socratica>
+[Insira aqui suas respostas às perguntas da reflexão socrática]
+</reflexao_socratica>
+
+<resumo_final>
+[Insira aqui o resumo final revisado, se houver alterações após a reflexão]
+</resumo_final>"""
+
+
 def contextual_prompt(full_text, chunk_content):
     return f"""You are a language model tasked with providing context to improve the retrieval of information from a chunk extracted from a document. Follow these steps internally (do not display reasoning or reflection in the final output):
 1. **Chain of Thought (internal)**:
@@ -17,9 +76,11 @@ Please return only the succinct context (without displaying your internal reason
 ```
 """
 
+
 # Novo nome --> prompt-auxiliar --> Para gerar documentos (é usado como auxiliar no prompt final)
-prompt_auxiliar = """
-You are a language model specialized in producing concise and well-structured legal case summaries in Portuguese. You will receive a variable `context`, which contains information about a legal case. Your task is to read the `context` carefully and produce a summary report in Portuguese, following the specific format provided below. Do not include any additional comments or reasoning steps in your final answer.
+prompt_auxiliar_inicio = """You are a language model specialized in producing concise and well-structured legal case summaries in Portuguese. You will receive a variable `context`, which contains information about a legal case. Your task is to read the `context` carefully and produce a summary report in Portuguese, following the specific format provided below. Do not include any additional comments or reasoning steps in your final answer."""
+
+prompt_auxiliar_padrao = """
 **Instructions**:
 1. **Chain of Thought**: Before producing your final answer, you must think through and plan your summary silently, without showing this reasoning in the final output. The final answer must only contain the required formatted report and nothing else.
 2. **Reading the Context**: Extract the following information from `context`:
@@ -119,61 +180,3 @@ A denúncia foi recebida em 12/03/2021, conforme Decisão 20210312-01.
 Não há outras causas interruptivas ou suspensivas da prescrição.
 </formato>
 """
-
-prompt_auxiliar_do_contextual_prompt = """Você é um assistente jurídico especializado em direito brasileiro. Sua tarefa é criar um resumo conciso e informativo de um processo jurídico, de acordo com as leis do Brasil. O resumo deve focar nos momentos cruciais do processo, na última movimentação processual e nas principais movimentações que ocorreram.
-
-Aqui estão as 10 principais peças processuais em ordem cronológica do processo civil brasileiro que você deve priorizar em sua análise:
-1. Petição Inicial
-2. Contestação
-3. Réplica
-4. Decisão de Saneamento
-5. Sentença
-6. Recurso de Apelação
-7. Embargos de Declaração
-8. Cumprimento de Sentença
-9. Embargos à Execução
-10. Agravo de Instrumento
-
-Siga este passo a passo para criar o resumo:
-
-1. Leia atentamente todo o processo jurídico fornecido.
-<processo_juridico>
-{{PROCESSO_JURIDICO}}
-</processo_juridico>
-
-2. Identifique e anote as datas e conteúdos relevantes relacionados às 10 peças processuais listadas acima.
-
-3. Organize cronologicamente as informações coletadas.
-
-4. Destaque a última movimentação processual e seu significado para o andamento do processo.
-
-5. Resuma as principais movimentações, focando em seu impacto no processo.
-
-6. Elabore um texto coeso que apresente o fluxo do processo, destacando os pontos cruciais e as decisões mais importantes.
-
-Após criar o resumo inicial, utilize a técnica socrática de reflexão para garantir a precisão e completude do resumo. Faça a si mesmo as seguintes perguntas:
-
-1. O resumo abrange todas as 10 peças processuais principais?
-2. A última movimentação processual está claramente identificada e explicada?
-3. O texto apresenta uma visão clara do fluxo do processo?
-4. Todas as informações cruciais para o entendimento do caso estão incluídas?
-5. O resumo está livre de opiniões pessoais e se atém aos fatos do processo?
-6. A linguagem utilizada é clara e acessível, mesmo para quem não é especialista em direito?
-
-Revise e ajuste o resumo conforme necessário com base nessa reflexão.
-
-O resumo final deve ter no máximo 2 páginas de extensão (aproximadamente 1000 palavras).
-
-Formate sua resposta da seguinte maneira:
-
-<resumo_processo>
-[Insira aqui o resumo do processo jurídico]
-</resumo_processo>
-
-<reflexao_socratica>
-[Insira aqui suas respostas às perguntas da reflexão socrática]
-</reflexao_socratica>
-
-<resumo_final>
-[Insira aqui o resumo final revisado, se houver alterações após a reflexão]
-</resumo_final>"""

_utils/handle_files.py

@@ -1,5 +1,7 @@
 import tempfile, os
 
+from _utils.bubble_integrations.obter_arquivo import get_pdf_from_bubble
+
 
 def handle_pdf_files_from_serializer(files):
     listaPDFs = []
@@ -17,7 +19,6 @@ def handle_pdf_files_from_serializer(files):
     print("listaPDFs: ", listaPDFs)
     return listaPDFs
 
-
 def remove_pdf_temp_files(listaPDFs):
     for file in listaPDFs:
         os.remove(file)

_utils/resumo_completo_cursor.py

@@ -65,7 +65,7 @@ async def get_llm_summary_answer_by_cursor_complete(
         prompt_auxiliar=serializer["prompt_auxiliar"],
         gpt_model=serializer["model"],
         gpt_temperature=serializer["gpt_temperature"],
-        id_modelo_do_usuario=serializer["id_modelo_do_usuario"],
+        # id_modelo_do_usuario=serializer["id_modelo_do_usuario"],
         prompt_gerar_documento=serializer["prompt_gerar_documento"],
         reciprocal_rank_fusion=reciprocal_rank_fusion,
     )

_utils/splitters/Splitter_class.py

@@ -1,3 +1,4 @@
+from _utils.bubble_integrations.obter_arquivo import get_pdf_from_bubble
 from setup.easy_imports import PyPDFLoader, RecursiveCharacterTextSplitter, Document
 from typing import List, Dict, Tuple, Optional
 from _utils.models.gerar_relatorio import (
@@ -19,7 +20,8 @@ class Splitter:
 
     def load_and_split_document(self, pdf_path: str) -> List[DocumentChunk]:
         """Load PDF and split into chunks with metadata"""
-        loader = PyPDFLoader(pdf_path)
+        # loader = PyPDFLoader(pdf_path)
+        loader = get_pdf_from_bubble(pdf_path)
         pages = (
             loader.load()
         )  # Gera uma lista de objetos Document, sendo cada item da lista referente a UMA PÁGINA inteira do PDF.

example.env

@@ -1,8 +1,8 @@
+SECRET_KEY=""
 DATABASE_PASSWORD=""
 OPENAI_API_KEY=""
-CLAUDE_API_KEY=""
-LANGCHAIN_API_KEY=""
 HUGGINGFACEHUB_API_TOKEN=""
+LANGCHAIN_API_KEY=""
+CLAUDE_API_KEY=""
 COHERE_API_KEY=""
-SECRET_KEY=""
-DATABASE_PASSWORD=""
+BUBBLE_TOKEN=""

gerar_documento/serializer.py

@@ -2,17 +2,29 @@ from rest_framework import serializers
 from _antigos.resumos.serializer import ResumoCursorSerializer
 from _utils.gerar_relatorio_modelo_usuario.prompts import (
     prompt_gerar_documento,
-    prompt_auxiliar,
+    prompt_auxiliar_padrao,
 )
 
 user_message = "What are the main points of this document?"
 
 
+class FileInfoSerializer(serializers.Serializer):
+    unique_id = serializers.CharField(max_length=255)
+    tipo_arquivo = serializers.CharField(max_length=255)
+    link_arquivo = serializers.URLField()
+
+
 class ResumoCursorCompeltoSerializer(ResumoCursorSerializer):
     system_prompt = None
-    files = None
-    file_ids = serializers.CharField(required=False)
-    prompt_auxiliar = serializers.CharField(required=False, default=prompt_auxiliar)
+
+    files = serializers.ListField(child=FileInfoSerializer(), required=True)
+    bubble_editor_version = serializers.CharField(
+        required=False, default="version-test"
+    )  # Será o valor utilizado dentro da URL da requisição pro Bubble
+
+    prompt_auxiliar = serializers.CharField(
+        required=False, default=prompt_auxiliar_padrao
+    )
     prompt_gerar_documento = serializers.CharField(
         required=False, default=prompt_gerar_documento
     )
@@ -31,6 +43,5 @@ class ResumoCursorCompeltoSerializer(ResumoCursorSerializer):
         required=False, default="claude-3-haiku-20240307"
     )
     gpt_temperature = serializers.FloatField(default=0)
-    # id_modelo_do_usuario = serializers.IntegerField(required=True)
     id_modelo_do_usuario = serializers.IntegerField(required=False)
     should_have_contextual_chunks = serializers.BooleanField(default=False)

gerar_documento/views.py

@@ -10,13 +10,14 @@ from _utils.handle_files import handle_pdf_files_from_serializer, remove_pdf_tem
 from _utils.resumo_completo_cursor import (
     get_llm_summary_answer_by_cursor_complete,
 )
+from _utils.gerar_relatorio_modelo_usuario.prompts import prompt_auxiliar_inicio
 from .serializer import (
     ResumoCursorCompeltoSerializer,
 )
 
 
 class ResumoSimplesCursorCompletoView(AsyncAPIView):
-    parser_classes = [MultiPartParser]
+    # parser_classes = [MultiPartParser]
 
     @extend_schema(
         request=ResumoCursorCompeltoSerializer,
@@ -28,13 +29,20 @@ class ResumoSimplesCursorCompletoView(AsyncAPIView):
             data = serializer.validated_data
             print("\n\ndata: ", data)
 
-            listaPDFs = handle_pdf_files_from_serializer(data["files"])
+            data["prompt_auxiliar"] = (
+                prompt_auxiliar_inicio + "\n" + data["prompt_auxiliar"]
+            )
+
+            # listaPDFs = handle_pdf_files_from_serializer(data["files"])
+            listaPDFs = [l["link_arquivo"] for l in data["files"]]
+
+            print("\n\nlistaPDFs: ", listaPDFs)
 
             resposta_llm = await get_llm_summary_answer_by_cursor_complete(
                 data, listaPDFs
             )
             print("\n\nresposta_llm: ", resposta_llm)
 
-            remove_pdf_temp_files(listaPDFs)
+            # remove_pdf_temp_files(listaPDFs)
 
             return Response({"resposta": resposta_llm})

setup/easy_imports.py

@@ -7,8 +7,9 @@ from rest_framework.parsers import MultiPartParser
 
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 
-# from langchain_huggingface import HuggingFaceEmbeddings
-from langchain_community.embeddings import HuggingFaceEmbeddings
+from langchain_huggingface import HuggingFaceEmbeddings
+
+# from langchain_community.embeddings import HuggingFaceEmbeddings
 from langchain.prompts import PromptTemplate
 from langchain_core.prompts import ChatPromptTemplate
 from langchain_community.document_loaders import PyPDFLoader