sentence-transformers safetensors bert sentence-similarity feature-extraction generated_from_trainer dataset_size:1540 loss:CosineSimilarityLoss base_model:neuralmind/bert-base-portuguese-cased base_model:finetune:neuralmind/bert-base-portuguese-cased model-index autotrain_compatible text-embeddings-inference endpoints_compatible region:us
---
base_model: neuralmind/bert-base-portuguese-cased
library_name: sentence-transformers
metrics:
- pearson_cosine
- spearman_cosine
- pearson_manhattan
- spearman_manhattan
- pearson_euclidean
- spearman_euclidean
- pearson_dot
- spearman_dot
- pearson_max
- spearman_max
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:1540
- loss:CosineSimilarityLoss
widget:
- source_sentence: A ascite quilosa é uma manifestação rara com um amplo diagnóstico
    diferencial. No adulto está sobretudo associada a casos de trauma, iatrogenia,
    neoplasias, doença hepática crónica e infeções micobacterianas. Os autores descrevem
    um caso raro de ascite quilosa como forma de apresentação de pericardite constritiva.
  sentences:
  - Um derrame pleuro-pericárdico acompanhado de febre geralmente sugere uma etiologia
    infecciosa. Quando episódios recorrentes ocorrem, sem isolamento de agente microbiológico,
    deve-se suspeitar de síndrome febril periódico, sendo a Febre Mediterrânea Familiar
    a mais frequente deste grupo. Febre Mediterrânea Familiar é uma doença autossómica
    recessiva, causada por mutações no gene MEFV e caracterizada por ataques recorrentes
    de febre e serosite. Os primeiros sintomas geralmente manifestam-se antes dos
    20 anos de idade, sendo a dor abdominal o sintoma mais frequente. Neste artigo,
    iremos apresentar um caso de polisserosite febril recidivante como uma apresentação
    incomum de Febre Mediterrânea Familiar.
  - A pericardite constritiva (PC) consiste num compromisso da função cardíaca diastólica
    causado por um pericárdio fibrótico, inflamado ou calcificado, geralmente espessado.
    Os autores apresentam um caso de doente com polisserosite, cuja extensa investigação
    diagnóstica inicial, incluindo o ecocardiograma com doppler (ED) e a tomografia
    axial computorizada (TAC), não permitiram esclarecer a etiologia dos derrames,
    tendo o doente mantido ascite refractária apesar do tratamento médico. O gradiente
    sero-ascítico de albumina ≥ 1,1g/dL, o valor de proteínas no líquido ascítico
    > 2,5g/dL, o ingurgitamento jugular, bem como os antecedentes de derrames pericárdicos,
    levantaram a suspeita de PC. O diagnóstico foi apoiado pelo ED e pela TAC subsequentes
    e confirmado por cateterismo cardíaco. Perante um doente com polisserosite, a
    investigação diagnóstica deve ser orientada pelo exame citoquímico dos líquidos
    serosos. A PC é uma causa rara de ascite recorrente e estabelecer o diagnóstico
    constitui um desafio, sendo necessário um elevado índice de suspeição.
  - A Síndrome de Felty (SF) é caracterizada pela tríade artrite reumatóide (AR),
    neutropenia e esplenomegalia. É uma manifestação extra-articular rara da AR, presente
    em menos de 3% dos doentes, sendo mais frequente em mulheres e entre a 5ª e a
    7ª décadas de vida. Na maioria dos casos surge, pelo menos, 10 anos após o diagnóstico
    da AR e associa-se a outras manifestações extra-articulares como vasculite, serosite
    ou adenopatias. Descrevemos um caso de uma mulher de 69 anos que se apresenta
    na consulta com neutropenia grave e sem qualquer outra sintomatologia acompanhante.
    Da investigação etiológica apurou-se altos títulos de fator reumatóide e Anti-CCP,
    associados a esplenomegalia, tendo sido feito o diagnóstico de SF, como apresentação
    inaugural de AR. Descrevemos este caso para realçar a importância da exclusão
    de causa auto-imune perante um doente com neutropenia ainda que sem clínica de
    artrite ou sinovite.
- source_sentence: Os autores apresentam o caso de uma doente, 38 anos, sem antecedentes,
    admitida para investigação de derrame pleural. Toracocentese revelou hemotórax
    com exames bacteriológico, micobacteriológico e anatomo-patológico negativos.
    TAC toraco-abdomino-pélvico sugestiva de carcinomatose peritoneal, sem identificação
    de neoplasia primária. Biópsia de lesão superficial a nível pélvico compatível
    com endometriose. Laparoscopia diagnóstica com biopsia de lesões peritoneais também
    compatíveis com endometriose. Perante anatomia patológica e reaparecimento do
    derrame com novo ciclo menstrual admitiu-se endometriose torácica, tendo iniciado
    terapêutica supressora hormonal com resolução da sintomatologia. Os autores apresentam
    o caso clínico pela raridade e desafio diagnóstico que representa. A endometriose
    pulmonar caracteriza-se por tecido endometrial no parenquima pulmonar ou pleura
    e manifesta-se por pneumotorax, hemotorax ou hemoptises cíclicas catameniais.
    Os exames complementares são inespecíficos e o diagnóstico de exclusão, tendo
    em conta a história clínica e a natureza catamenial dos sintomas. O tratamento
    consiste inicialmente na supressão hormonal podendo necessitar de cirurgia.
  sentences:
  - Mulher de 64 anos, com antecedentes de Síndrome de Sjögren primário, recorre ao
    serviço de urgência por epigastralgias, vómitos, icterícia, colúria, acolia, prurido,
    anorexia e perda ponderal com 2 semanas de evolução. Objetivamente com dor à palpação
    no hipocôndrio direito e icterícia. Ecografia abdominal com dilatação das vias
    biliares intra e extra-hepáticas e tomografia computorizada e ressonância magnética
    com globosidade da área cefálica do pâncreas, lesões nodulares renais bilaterais,
    heterogeneidade do útero, nódulo da supra-renal e micronódulos pulmonares. Foi
    realizada biopsia renal guiada por TC que revelou linfoma não Hogdkin difuso de
    células B com elevado índice proliferativo. Estudo complementado por ecoendoscopia
    e CPRE confirmou envolvimento duodenal e papilar, condicionando estenose do terço
    distal da via biliar principal. Apresentamos este caso pela forma de apresentação
    rara com icterícia obstrutiva em doente com linfoma multifocal, de envolvimento
    extranodal exclusivo. O diagnóstico precoce e estadiamento célere são fatores
    determinantes no prognóstico.
  - Os autores apresentam o caso de uma paciente com síndrome de Klippel-Trenaunay,
    um síndrome neurocutâneo raro, de etiologia não esclarecida, que se caracteriza
    pela tríade clínica de hemangiomas cutâneos, insuficiência venosa e hipertrofia
    dos tecidos moles. A dor é o sintoma mais frequente relacionada com a insuficiência
    venosa crónica do membro afectado , mas poderão surgir complicações decorrentes
    da hipertrofia óssea e do aparecimento de malformações vasculares noutros locais.
  - Numerosas terapêuticas foram propostas na síndrome de secreção inadequada de hormona
    antidiurética (SIADH) refractária à restrição hídrica e dieta hipersalina, existindo
    raros casos descritos de SIADH de origem neurológica em que foi conseguido um
    controlo a longo prazo com fenitoína. Um homem de 48 anos, raça caucasiana, com
    antecedentes de etilismo crónico e história recente de traumatismo craniano com
    fractura do rochedo temporal direito é encaminhado ao Serviço de Urgência(SU)
    por crise convulsiva não presenciada e quadro confusional. Ao exame objectivo,
    o doente apresentava-se prostrado, desorientado e com períodos de agitação, sem
    sinais de depleção de volume. O restante exame físico e neurológico não revelou
    alterações relevantes. À admissão destacavam-se, analiticamente, níveis séricos
    de sódio de 120 mEq/l e, imagiologicamente, a tomografia crânio-encefálica revelou-se
    sobreponível a estudos anteriores. Outros exames complementares realizados, no
    SU, não mostraram alterações. Durante o internamento a abordagem diagnóstica permitiu
    o diagnóstico de SIADH, como complicação de uma fractura da base do crânio. Apesar
    da instituição de restrição hídrica e dieta hipersalina, o doente manteve o quadro
    confusional e hiponatrémia refractários. Face à etiologia da SIADH iniciou-se
    terapêutica com fenitoína conseguindo-se uma melhoria mantida do quadro clínico
    e atingimento de níveis normonatrémicos.
- source_sentence: A hiponatremia é a alteração eletrolítica mais frequente na prática
    clínica hospitalar. Sendo muitas vezes devido a perdas ou iatrogenia farmacológica.
    A insuficiência primária da supra-renal é uma causa rara deste distúrbio e está
    muitas vezes relacionada com destruição auto-imune da glândula. Esta cursa, na
    maioria das vezes, com sintomas inespecíficos e de desenvolvimento insidioso.
    Por vezes os doentes não apresentam a tríade clássica de hipotensão, hiponatrémia
    e hiperpigmentação o que torna difícil o seu diagnóstico precoce. O diagnóstico
    correto e atempado permite oferecer ao doente um tratamento simples e crucial
    para a sua sobrevivência
  sentences:
  - Homem de 67 anos, internado no Serviço de Medicina por Pneumonia. Antecedentes
    de miocardiopatia dilatada, fibrilhação auricular, hipertensão arterial, alcoolismo
    crónico (80g/dia) e caquexia. No decurso do internamento desenvolveu um quadro
    de diminuição da força muscular de forma progressiva com tetraparésia grave, atrofia
    muscular de predomínio esquerdo, espasticidade e hiperreflexia dos membros inferiores.
    Analiticamente apresentava elevação dos parâmetros de colestase hepática, ionograma
    seriado com hiponatrémia discreta 132-135mEq/L, potássio, cloro, cálcio, fósforo
    e magnésio normais. Sem défice de vitamina B12 ou ácido fólico. Tomografia Computorizada
    Crânio-Encefálica sem alterações de natureza vascular ou expansiva. Punção lombar
    com análise do líquido cefalorraquídeo sem alterações. Serologias virais e bacterianas
    negativas. Eletromiograma sem lesão nervosa periférica. Foi então pedida Ressonância
    Magnética Crânio-Encefálica e Cervical para exclusão de lesão desmielinizante
    cervical alta ou do tronco cerebral, tendo-se verificado hipersinal em T2 a nível
    da ponte característica da Mielinólise Central Pontina.
  - A Doença de Still é uma doença auto-inflamatória rara, sendo um dos diagnósticos
    diferenciais de febre de origem indeterminada. A apresentação típica inclui febre,
    rash evanescente e artrite acompanhada de valores desproporcionalmente elevados
    de ferritina. Apresentamos um caso de diagnóstico particularmente difícil numa
    mulher de 44 anos com envolvimento cutâneo, articular e pulmonar, na qual os valores
    de ferritina estavam apenas moderadamente elevados, mas a sua forma glicosilada
    significativamente reduzida. No decorrer da investigação foi identificada doença
    celíaca concomitante, com défice de ferro profundo, que apontou para uma possível
    alteração no mecanismo de produção de ferritina na presença de um estímulo inflamatório.
    Este caso sublinha a relevância da ferritina glicosilada como marcador mais fiável
    na investigação de casos onde a Doença de Still é suspeita.
  - Resumo Os linfomas que envolvem o colo do útero são muito raros. Relatamos o caso
    de uma mulher de 71 anos apresentando sintomas de diverticulite, com vários achados
    imagiológicos incidentais sugerindo uma doença linfoproliferativa e uma grande
    massa no colo do útero. A biópsia profunda do colo do útero diagnosticou um linfoma
    difuso de grandes células B envolvendo o colo do útero, provável transformação
    de um linfoma de zona marginal. A doente está atualmente em tratamento com rituximab,
    ciclofosfamida, doxorrubicina, vincristina e predisolona e metotrexato em altas
    doses para profilaxia de envolvimento do sistema nervoso central. Para diagnosticar
    com precisão um linfoma não-Hodgkin do colo do útero, a equipa médica deve estar
    atenta a esta hipótese diagnóstica clínica, a fim de proporcionar as melhores
    condições para a investigação, como biópsia profunda do colo do útero e estudos
    histológicos e imuno-histoquímicos da amostra.
- source_sentence: A Arterite de Takayasu é uma doença inflamatória crónica dos grandes
    vasos, que envolve a artéria aorta e os seus ramos principais, e afecta predominantemente
    mulheres com idade inferior a 40 anos. A clínica é inespecífica e varia com o
    local anatómico envolvido, pelo que é necessário um elevado índice de suspeição
    clínica para que seja realizado o seu diagnóstico. O acidente vascular cerebral
    tem uma prevalência de cerca de 10 a 20% no decurso da doença e influencia de
    forma negativa o seu prognóstico. O acidente vascular cerebral hemorrágico como
    manifestação da Arterite de Takayasu é raro. Apresentamos o caso de uma doente
    jovem que se apresenta com uma hemorragia cerebral, cuja investigação etiológica
    culminou no diagnóstico de Arterite de Takayasu. A importância desde caso clínico
    prende-se com a escassez de casos publicados na literatura, uma vez que retrata
    uma patologia rara, com uma apresentação inicial invulgar.
  sentences:
  - Resumo Aproximadamente 5%-10% dos acidentes vasculares cerebrais (AVC) criptogénicos
    têm uma neoplasia subjacente. A parésia do nervo abducente em doentes com neoplasia
    encontra-se geralmente relacionada com compressão tumoral, hipertensão intracraniana
    ou metastização. Os autores reportam um caso de um doente com 65 anoscom AVC multiterritório
    que se apresentou com uma parésia do sexto nervo unilateral e isolada cuja etiologia
    foi extensamente estudada. Admitiu-se o diagnóstico final de síndrome paraneoplásico,
    que foi a apresentação inicial de um carcinoma gástrico oculto provavelmente relacionado
    com a hipercoagulabilidade associada à malignidade. Este caso enfatiza a importância
    de considerar um estudoadicional em casos selecionados de AVC criptogénico ou
    parésia do abducente.
  - As encefalites virais são entidades raras, mas que, pelas suas implicações diagnósticas,
    terapêuticas e prognósticas, não podem deixar de ser consideradas em qualquer
    doente que se apresente com sintomas psiquiátricos, alteração do estado de consciência,
    convulsões ou coma sem causa evidente. O presente caso diz respeito a um doente
    com sintomas psicóticos e um estado confusional com duas semanas de evolução.
    À admissão, apresentava-se subfebril, com flutuação do nível de consciência. O
    estudo analítico e TAC crânio-encefálica não mostraram alterações de relevo, tendo
    realizado punção lombar cujo exame citoquímico e exame bacteriológico se mostravam
    igualmente inalterados. Por suspeita mantida de encefalite viral e não sendo possível
    excluir causa herpética, foi iniciada terapêutica empírica com aciclovir. A PCR
    do vírus Epstein-Barr (EBV) no líquor foi positiva, permitindo assim o diagnóstico
    raro de uma encefalite a EBV num doente idoso e imunocompetente, tendo-se verificado
    resolução completa do quadro clínico.
  - A abordagem da febre é sem dúvida uma das artes da Medicina. A doença de Still
    no adulto (DSA) é uma patologia inflamatória sistémica de baixa incidência e etiologia
    desconhecida. Pela inespecificidade clínica e laboratorial, é um diagnóstico de
    exclusão. Os autores descrevem o caso de homem de 32 anos com a tríade de febre,
    oligoartralgia e exantema cutâneo evanescente, cuja marcha diagnóstica minuciosa
    culminou no diagnóstico de DSA, apresentando hiperferritinémia sérica dez vezes
    superior ao normal. Relembra-se a importância da DSA como causa de síndrome febril
    arrastado, cujo diagnóstico, atendendo à ausência de marcadores patognomónicos,
    pode passar despercebido.
- source_sentence: A síndrome da Secreção Inapropriada da Hormona Antidiurética (SIADH)
    é uma das causas de hiponatremia euvolémica. A hidrocefalia de pressão normal
    (HPN) pode ser uma causa neurológica para SIADH e o seu diagnóstico e correção
    são fundamentais para a normalização dos níveis de sódio. Relatamos o caso de
    uma mulher de 67 anos, com hiponatremia crónica, marcha de base alargada, urgência
    miccional e sensação de perda de memória, sem evidência de sobrecarga hídrica
    ou desidratação. O estudo complementar revelou osmolaridade sérica normal, osmolaridade
    urinária elevada, sódio urinário elevado. Após restrição hídrica, houve melhoria
    da hiponatremia. Imagiologicamente documentou-se presença de membrana aqueductal
    causando obstrução ao fluxo do líquido cefalorraquidiano. O diagnóstico de SIADH
    em contexto de HPN foi presumido. Após correção cirúrgica houve resolução completa
    da hiponatremia. Hoje sabe-se que existem formas secundárias raras de HPN, sendo
    estas causadas por estenose ou obstrução aqueductal, como relatado no caso apresentado.
  sentences:
  - Define-se lesão hepática induzida por um fármaco como uma lesão hepática que,
    após exclusão de outras potenciais etiologias, se assume como secundária a um
    fármaco, produto de ervanária ou xenobiótico, e que resulta em alterações da enzimologia
    hepática ou disfunção hepática clinicamente evidente. Os autores descrevem o caso
    de um homem de 87 anos internado para estudo etiológico de uma lesão hepática
    de padrão colestático. Após estudo alargado, foi colocada como hipótese etiológica
    mais provável uma iatrogenia farmacológica, posteriormente corroborada por biópsia
    hepática, sendo a Espironolactona assumida como o agente causal mais provável,
    atendendo ao quadro clínico e aos achados histopatológicos. Estão descritos alguns
    casos de lesão hepática induzida pela Espironolactona, quando usada em doses de
    50 e 100 mg/dia. Os autores relatam um caso raro que ocorreu num doente que se
    encontrava sob Espironolactona na dose de 25 mg/dia.
  - Resumo A ceftriaxona, um dos antibióticos mais frequentementeutilizados na prática
    clínica, tem como efeito adverso, raro epotencialmente grave, a agranulocitose.
    Reportamos um caso de uma mulher de 85 anos em esquema terapêutico prolongado
    com ceftriaxona para endocardite por Streptococcus bovis, que desenvolve agranulocitose
    ao 25º dia de antibioterapia, com nadir de contagem absoluta de neutrófilos de
    0/uL. Outras causas potenciais foram excluídas. A terapêutica antibiótica foi
    alterada para amoxicilina/ácido clavulânico e realizou ciclo de fator estimulador
    de colónias de granulócitos, com resolução da neutropenia após 3 dias. Queremos
    destacar este efeito adverso raro com o uso prolongado da ceftriaxona,salientando
    a necessidade de monitorização regulardas contagens de leucócitos. O tratamento
    desta condiçãopassa pela suspensão do agente causal e o uso transitório de factor
    estimulador de colónias de granulócitos até resolução da neutropenia.
  - A síndrome de secreção inapropriada da hormona anti-diurética (SIADH) é uma causa
    frequente de hiponatrémia, sendo um diagnóstico de exclusão. Quando associada
    à infeção pelo vírus varicella zoster é mais frequente na sua forma disseminada.
    Os autores descrevem o caso de uma mulher de 83 anos, com quadro com 7 dias de
    evolução de síndrome confusional flutuante, desorientação temporo-espacial e tonturas.
    Medicada com brivudina, aciclovir tópico e ofloxacina gotas para tratamento de
    herpes zóster com atingimento dos ramos oftálmico e mandibular do nervo trigémeo.
    À admissão, com hiponatrémia de 128mmol/L. Excluídas outras causas, assumiu-se
    o diagnóstico de SIADH associado a infeção por herpes. O caso descrito sugere
    uma relação causal entre a reactivação por VZV e a SIADH sintomática. A favor,
    temos a resolução completa da hiponatrémia a acompanhar a melhoria clínica. O
    presente caso torna-se importante por se tratar de uma entidade rara, pouco conhecida
    e subdiagnosticada, mas com efeitos clínicos importantes.
model-index:
- name: SentenceTransformer based on neuralmind/bert-base-portuguese-cased
  results:
  - task:
      type: semantic-similarity
      name: Semantic Similarity
    dataset:
      name: Unknown
      type: unknown
    metrics:
    - type: pearson_cosine
      value: 0.6875234896564695
      name: Pearson Cosine
    - type: spearman_cosine
      value: 0.6855542083017127
      name: Spearman Cosine
    - type: pearson_manhattan
      value: 0.6475708379913874
      name: Pearson Manhattan
    - type: spearman_manhattan
      value: 0.6531511386527615
      name: Spearman Manhattan
    - type: pearson_euclidean
      value: 0.6497495499262932
      name: Pearson Euclidean
    - type: spearman_euclidean
      value: 0.6545105043371998
      name: Spearman Euclidean
    - type: pearson_dot
      value: 0.6790094551137061
      name: Pearson Dot
    - type: spearman_dot
      value: 0.6847710424836908
      name: Spearman Dot
    - type: pearson_max
      value: 0.6875234896564695
      name: Pearson Max
    - type: spearman_max
      value: 0.6855542083017127
      name: Spearman Max
  - task:
      type: semantic-similarity
      name: Semantic Similarity
    dataset:
      name: sts test
      type: sts-test
    metrics:
    - type: pearson_cosine
      value: 0.6907882980083289
      name: Pearson Cosine
    - type: spearman_cosine
      value: 0.6894513736041122
      name: Spearman Cosine
    - type: pearson_manhattan
      value: 0.6492706768297136
      name: Pearson Manhattan
    - type: spearman_manhattan
      value: 0.6546984498682096
      name: Spearman Manhattan
    - type: pearson_euclidean
      value: 0.651318699091458
      name: Pearson Euclidean
    - type: spearman_euclidean
      value: 0.6544106471290732
      name: Spearman Euclidean
    - type: pearson_dot
      value: 0.6817298567055641
      name: Pearson Dot
    - type: spearman_dot
      value: 0.6881836625714188
      name: Spearman Dot
    - type: pearson_max
      value: 0.6907882980083289
      name: Pearson Max
    - type: spearman_max
      value: 0.6894513736041122
      name: Spearman Max
    - type: pearson_cosine
      value: 0.6907882980083289
      name: Pearson Cosine
    - type: spearman_cosine
      value: 0.6894513736041122
      name: Spearman Cosine
    - type: pearson_manhattan
      value: 0.6492706768297136
      name: Pearson Manhattan
    - type: spearman_manhattan
      value: 0.6546984498682096
      name: Spearman Manhattan
    - type: pearson_euclidean
      value: 0.651318699091458
      name: Pearson Euclidean
    - type: spearman_euclidean
      value: 0.6544106471290732
      name: Spearman Euclidean
    - type: pearson_dot
      value: 0.6817298567055641
      name: Pearson Dot
    - type: spearman_dot
      value: 0.6881836625714188
      name: Spearman Dot
    - type: pearson_max
      value: 0.6907882980083289
      name: Pearson Max
    - type: spearman_max
      value: 0.6894513736041122
      name: Spearman Max
---

# SentenceTransformer based on neuralmind/bert-base-portuguese-cased

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [neuralmind/bert-base-portuguese-cased](https://huggingface.co/neuralmind/bert-base-portuguese-cased). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [neuralmind/bert-base-portuguese-cased](https://huggingface.co/neuralmind/bert-base-portuguese-cased) <!-- at revision 94d69c95f98f7d5b2a8700c420230ae10def0baa -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->


### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("lfcc/medlink-bi-encoder")
# Run inference
sentences = [
    'A síndrome da Secreção Inapropriada da Hormona Antidiurética (SIADH) é uma das causas de hiponatremia euvolémica. A hidrocefalia de pressão normal (HPN) pode ser uma causa neurológica para SIADH e o seu diagnóstico e correção são fundamentais para a normalização dos níveis de sódio. Relatamos o caso de uma mulher de 67 anos, com hiponatremia crónica, marcha de base alargada, urgência miccional e sensação de perda de memória, sem evidência de sobrecarga hídrica ou desidratação. O estudo complementar revelou osmolaridade sérica normal, osmolaridade urinária elevada, sódio urinário elevado. Após restrição hídrica, houve melhoria da hiponatremia. Imagiologicamente documentou-se presença de membrana aqueductal causando obstrução ao fluxo do líquido cefalorraquidiano. O diagnóstico de SIADH em contexto de HPN foi presumido. Após correção cirúrgica houve resolução completa da hiponatremia. Hoje sabe-se que existem formas secundárias raras de HPN, sendo estas causadas por estenose ou obstrução aqueductal, como relatado no caso apresentado.',
    'A síndrome de secreção inapropriada da hormona anti-diurética (SIADH) é uma causa frequente de hiponatrémia, sendo um diagnóstico de exclusão. Quando associada à infeção pelo vírus varicella zoster é mais frequente na sua forma disseminada. Os autores descrevem o caso de uma mulher de 83 anos, com quadro com 7 dias de evolução de síndrome confusional flutuante, desorientação temporo-espacial e tonturas. Medicada com brivudina, aciclovir tópico e ofloxacina gotas para tratamento de herpes zóster com atingimento dos ramos oftálmico e mandibular do nervo trigémeo. À admissão, com hiponatrémia de 128mmol/L. Excluídas outras causas, assumiu-se o diagnóstico de SIADH associado a infeção por herpes. O caso descrito sugere uma relação causal entre a reactivação por VZV e a SIADH sintomática. A favor, temos a resolução completa da hiponatrémia a acompanhar a melhoria clínica. O presente caso torna-se importante por se tratar de uma entidade rara, pouco conhecida e subdiagnosticada, mas com efeitos clínicos importantes.',
    'Resumo A ceftriaxona, um dos antibióticos mais frequentementeutilizados na prática clínica, tem como efeito adverso, raro epotencialmente grave, a agranulocitose. Reportamos um caso de uma mulher de 85 anos em esquema terapêutico prolongado com ceftriaxona para endocardite por Streptococcus bovis, que desenvolve agranulocitose ao 25º dia de antibioterapia, com nadir de contagem absoluta de neutrófilos de 0/uL. Outras causas potenciais foram excluídas. A terapêutica antibiótica foi alterada para amoxicilina/ácido clavulânico e realizou ciclo de fator estimulador de colónias de granulócitos, com resolução da neutropenia após 3 dias. Queremos destacar este efeito adverso raro com o uso prolongado da ceftriaxona,salientando a necessidade de monitorização regulardas contagens de leucócitos. O tratamento desta condiçãopassa pela suspensão do agente causal e o uso transitório de factor estimulador de colónias de granulócitos até resolução da neutropenia.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

## Evaluation

### Metrics

#### Semantic Similarity

* Evaluated with [<code>EmbeddingSimilarityEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)

| Metric              | Value      |
|:--------------------|:-----------|
| pearson_cosine      | 0.6875     |
| **spearman_cosine** | **0.6856** |
| pearson_manhattan   | 0.6476     |
| spearman_manhattan  | 0.6532     |
| pearson_euclidean   | 0.6497     |
| spearman_euclidean  | 0.6545     |
| pearson_dot         | 0.679      |
| spearman_dot        | 0.6848     |
| pearson_max         | 0.6875     |
| spearman_max        | 0.6856     |

#### Semantic Similarity
* Dataset: `sts-test`
* Evaluated with [<code>EmbeddingSimilarityEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)

| Metric              | Value      |
|:--------------------|:-----------|
| pearson_cosine      | 0.6908     |
| **spearman_cosine** | **0.6895** |
| pearson_manhattan   | 0.6493     |
| spearman_manhattan  | 0.6547     |
| pearson_euclidean   | 0.6513     |
| spearman_euclidean  | 0.6544     |
| pearson_dot         | 0.6817     |
| spearman_dot        | 0.6882     |
| pearson_max         | 0.6908     |
| spearman_max        | 0.6895     |

#### Semantic Similarity
* Dataset: `sts-test`
* Evaluated with [<code>EmbeddingSimilarityEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)

| Metric              | Value      |
|:--------------------|:-----------|
| pearson_cosine      | 0.6908     |
| **spearman_cosine** | **0.6895** |
| pearson_manhattan   | 0.6493     |
| spearman_manhattan  | 0.6547     |
| pearson_euclidean   | 0.6513     |
| spearman_euclidean  | 0.6544     |
| pearson_dot         | 0.6817     |
| spearman_dot        | 0.6882     |
| pearson_max         | 0.6908     |
| spearman_max        | 0.6895     |

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### spmi_dataset


* Size: 1,540 training samples
* Columns: <code>abstract1</code>, <code>abstract2</code>, and <code>score</code>
* Approximate statistics based on the first 1000 samples:
  |         | abstract1                                                                           | abstract2                                                                           | score                                                          |
  |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:---------------------------------------------------------------|
  | type    | string                                                                              | string                                                                              | float                                                          |
  | details | <ul><li>min: 8 tokens</li><li>mean: 189.72 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 211.52 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.33</li><li>max: 1.0</li></ul> |
* Samples:
  | abstract1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | abstract2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | score             |
  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------|
  | <code>A dissecção aórtica aguda é uma emergência cardiovascular potencialmente fatal. É necessário um elevado grau de suspeição clínica para o seu diagnóstico, pois apresenta sintomas inespecíficos e mimetiza outras patologias. A maioria dos doentes tem dor torácica severa, com irradiação posterior e início abrupto, porém alguns são assintomáticos ou têm apresentações atípicas (cerca de 10%), que levam a diagnósticos tardios e a um pior prognóstico. A taxa de mortalidade é elevada, sendo superior a 50% se não for tratada. Apresenta-se o caso de um homem de 43 anos, admitido no serviço de urgência por dispneia de início súbito, sem dor torácica, uma apresentação rara de dissecção aórtica, com o objetivo de alertar para os fatores de risco e alterações do exame físico e nos exames auxiliares de diagnóstico da avaliação inicial que podem levantar a suspeita clínica e o diagnóstico precoce.</code> | <code>Resumo O baço possui funções imunológicas e hematológicas importantes. A esplenectomia está indicada na esferocitose hereditária, doença em que os eritrócitos são destruídos no baço por defeitos estruturais. Doentes esplenectomizados apresentam risco aumentado de infeção e de infeção fulminante pós-esplenectomia, que se caracteriza por um quadro inicial de febre, mialgias, cefaleia e vómitos. As bactérias Capnocytophaga colonizam a mucosa oral, podendo causar infeções oportunistas em doentes esplenectomizados. Os autores identificam o caso de um doente de 38 anos, esplenectomizado, que recorreu ao Serviço de Urgência por febre, vómitos e mialgias. As hemoculturas mostraram o crescimento de Capnocytophaga spp. Apesar das medidas instituídas, o doente evoluiu rapidamente para choque séptico, culminando na sua morte. Os autores pretendem alertar para esta condição rara associada a alta mortalidade, com o objetivo de aumentar a sobrevivência destes doentes, através da identificação e intervenção imediatas.</code>                                                                                                                                                                                                                                                                                                                                                                     | <code>0.0</code>  |
  | <code>A complexidade das doenças auto-imunes, caracterizadas por uma marcada heterogeneidade fenotípica e imunológica, tem o seu paradigma na sobreposição de perfis de auto-anticorpos e de manifestações clínicas de diferentes doenças num mesmo indivíduo. Os autores descrevem o caso de uma doente que, ao longo de doze anos de evolução de doença, cumpre critérios de classificação de quatro doenças auto-imunes diferentes, nomeadamente, Lúpus Eritematoso Sistémico, Esclerose Sistémica, Síndrome de Sjogrën e Colangite Biliar Primária. A sobreposição de perfis de auto-anticorpos, bem como de distintos fenótipos de diferentes doenças representam um desafio no diagnóstico, seguimento e tratamento destes doentes.</code>                                                                                                                                                                                           | <code>A esclerose sistémica (ES) é uma doença autoimune que pode afetar qualquer faixa etária, sendo pouco frequente após os 65 anos. O início da doença em idade geriátrica apresenta um fenótipo com diferentes aspetos quanto às manifestações clinicas, envolvimento orgânico e prognóstico. Descrevemos um caso clínico invulgar de uma doente com diagnóstico de ES estabelecido aos 87 anos, apresentando como manifestação inicial poliartralgias inflamatórias das mãos. O diagnóstico nesta faixa etária é particularmente desafiador, tendo sido estabelecido clinicamente e complementado com o resultado da capilaroscopia, apesar da doente apresentar auto-anticorpos específicos negativos. A doente realizou estudo do envolvimento visceral baseado em sintomas. Apesar da literatura descrever maior envolvimento orgânico na ES de inicio em idade avançada, a nossa doente não demonstrou marcado compromisso orgânico. A multidisciplinaridade envolvendo a Medicina Interna, a Reumatologia e a Fisiatria permitiram elaborar um plano terapêutico adequado, apresentando evolução clínica e funcional favorável.</code>                                                                                                                                                                                                                                                                                            | <code>0.65</code> |
  | <code>As enteropatias perdedoras de proteínas (EPP) caracterizam-se por uma perda proteica excessiva a nível do trato digestivo, podendo condicionar hipoproteinémia, edemas, bem como uma predisposição aumentada a infeções.1 As causas mais frequentes são a obstrução linfática, patologias gástricas, intestinais ou cardíacas. Neste caso clínico é descrito uma etiologia incomum de EPP, a pericardite constritiva (PC).2 Trata-se de um homem de 54 anos, com múltiplos internamentos por edemas generalizados e erisipelas de repetição, cuja investigação etiológica revelou uma EPP, causada por PC.</code>                                                                                                                                                                                                                                                                                                                    | <code>Resumo A enteropatia perdedora de proteínas (EPP) caracteriza-se pela presença de edema generalizado e hipoalbuminemiagrave, secundários à perda proteica através do trato gastrointestinal. Os autores reportam um caso de enteropatia perdedora de proteínas secundária a lupus eritematoso sistémico (LES), como a manifestação inicial desta doença. A doente relatava um quadro pautado por 4 meses de diarreia aquosa, não sanguinolenta, (com um máximo de 10 dejeções diárias), e perda ponderal significativa. Posteriormente desenvolveu marcado edema periférico e rash cutâneo malar e maculopapular ao nível do tórax e membros. Analiticamente apresentava anemia, hipoalbuminemia grave, hipocaliémia e hipomagnesémia. No decurso da investigação foram excluídas proteinúria eoutras causas de hipoalbuminemia. Após resultados como a pesquisa de anticorpos anti-nucleares e anti-ribonucleoproteinas positiva foi assumido o diagnóstico de EPP secundária ao LES. A doente foi tratada com pulsos de Metilprednisolona 1000 mg/dia durante 3 dias, seguido de prednisolona 1 mg/kg/dia, com boa resposta clínica. Após 20 dias, foi adicionada Azatioprina e iniciado o desmame de corticoides. O presente caso clínico destaca uma EPP como forma deapresentação do LES, cujo diagnóstico pode passar despercebido, tendo em conta a sua raridade, e acarretar um aumento da morbilidade e mortalidade.</code> | <code>0.65</code> |
* Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
  ```json
  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  ```

### Evaluation Dataset

#### spmi_dataset


* Size: 386 evaluation samples
* Columns: <code>abstract1</code>, <code>abstract2</code>, and <code>score</code>
* Approximate statistics based on the first 386 samples:
  |         | abstract1                                                                           | abstract2                                                                           | score                                                           |
  |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:----------------------------------------------------------------|
  | type    | string                                                                              | string                                                                              | float                                                           |
  | details | <ul><li>min: 9 tokens</li><li>mean: 193.97 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 203.56 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.33</li><li>max: 0.95</li></ul> |
* Samples:
  | abstract1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | abstract2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          | score             |
  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------|
  | <code>Resumo A síndrome de lise tumoral é a uma emergência médica potencialmente fatal decorrente da lise celular maciça que ocorre em neoplasias malignas com grande carga tumoral. Ocorre sobretudo em neoplasias hematológicas sob quimioterapia, sendo menos frequente em tumores sólidos, os quais apresentam geralmente um menor índice proliferativo. A síndrome de lise tumoral no carcinoma hepatocelular tratado com sorafenib, um inibidor oral multicinase, é extremamente rara, descrevendo-se apenas nove casos na literatura. Tanto quanto sabemos, não existem casos descritos na população europeia. Apresentamos um caso de síndrome de lise tumoral num doente com carcinoma hepatocelular multifocal sob tratamento com sorafenib e infeção SARS-CoV-2.</code>                                                                                                                                                                                                                                                                                                                                                         | <code>Resumo A púrpura trombocitopénica imune (PTI) é uma condição autoimune na qual anticorpos patogénicos se ligam às plaquetas, acelerando sua eliminação da circulação. Este caso é sobre uma mulher de 65 anos com fadiga, mialgias e púrpura cutânea localizada nas pernas, com início de sinais e sintomas 2 dias após vacinação com vacina SARS-CoV-2 da Moderna®. Um mês antes, a contagem de plaquetas era de 157x10^9/L. À admissão, a contagem de plaquetas era de 5x10^9/L, com trombocitopénia grave confirmada em esfregaço de sangue periférico. Recebeu prednisolona 1 mg/kg/dia. Após 7 dias, a contagem de plaquetas era de 45x10^9/L com resolução dos sintomas. Estudo de autoimunidade, hormonas tiroideias, coagulação, eletroforese de proteínas e testes sorológicos foram normais. Considerou-se provável relação causa-efeito da vacinação e aparecimento da clínica. O INFARMED considerou provável a relação com a vacina Moderna®, tratando-se do primeiro caso em Portugal.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | <code>0.85</code> |
  | <code>A cetoacidose diabética euglicemica (CADEu) é uma complicação potencialmente fatal da diabetes mellitus (DM), associada à medicação com inibidores do cotransportador sódio-glucose 2 (iSGLT2). Pode ser difícil de identificar devido à ausência de hiperglicemia. Homem com DM tipo 2, 71 anos, medicado com empagliflozina recorreu ao serviço de urgência por mal-estar geral e anúria. Estava prostrado, confuso, hipotenso, com respiração de Kussmaul. Analiticamente apresentou leucocitose, PCR de 202mg/dl, acidose metabólica grave com aumento do hiato aniónico, glicémia de 141 mg/dL e leucocitúria. Estes resultados poderiam ter sido interpretados no contexto infecioso urinário grave. Após consideração dos antecedentes medicamentosos e achados clínicos foi verificada uma cetonemia indoseavelmente alta que estabeleceu o diagnóstico de CADEu e permitiu início do tratamento dirigido com resolução da clínica. Os doentes medicados com iSGLT2 com doença aguda devem beneficiar de gasimetria arterial e medição da cetonemia de forma a garantir um diagnóstico precoce e tratamento atempado.</code> | <code>A sarcoidose é uma doença inflamatória sistémica caracterizada pela formação de granulomas não caseosos. Múltiplas podem ser as suas formas de manifestação clínica, sendo a síndroma de Heerfort-Waldenstrom uma forma de manifestação rara, encontrada em apenas 0.3% dos casos e caracterizada pelo aparecimento de parésia facial, tumefação parotídea, uveíte anterior e febre. Por vezes cursa com formas incompletas como no caso que descrevemos de uma mulher de 50 anos, sem antecedentes patológicos de relevo, que se apresenta com parésia e hipostesia da hemiface esquerda e disfagia para sólidos, tendo sido diagnosticada uma parésia facial periférica esquerda com exclusão imagiológica de evento neurológico vascular agudo. Foi medicada com deflazacorte e brivudina com melhoria da sintomatologia. Após término da corticoterapia retoma o quadro de disfagia, agora para sólidos e líquidos, parésia e hipostesia da hemiface direita com documentação ao exame objectivo de parésia facial periférica direita e hipertrofia parotídea bilateral. Analiticamente apresentava elevação sérica da enzima de conversão da angiotensina de 72.5U/L. A ressonância magnética cerebral demonstrava pequenas áreas de hipersinal em T2 na substância branca subcortical frontal, parietal direita, temporal esquerda e na transição caloso septal à esquerda, com líquor sem alterações citoquímicas. A TC toracoabdominopélvica mostrava múltiplas adenomegalias mediastínicas e hilares. A biópsia de um gânglio retro-auricular com retalhos de glândula salivar (parótida) evidenciava um processo inflamatório granulomatoso sem necrose caseosa, com imunofenotipagem sem alterações. O lavado broncoalveolar revelou linfocitose intensa e relação CD4/CD8 elevada (9.4). Foi iniciada corticoterapia e fisioterapia com melhoria da parésia facial e da clínica orofaríngea, sem recorrência. Relatamos assim um caso de neurosarcoidose sob a forma incompleta, pela ausência de atingimento ocular, de síndroma de Heefort-Waldenstrom.</code> | <code>0.0</code>  |
  | <code>A hipertrofia ventricular esquerda no adulto, achado frequente e muitas vezes fortuito, pode dever-se a condições de sobrecarga de pressão ventricular, hipertrofia dos miócitos de causa genética ou acumulação patológica de substâncias intra ou extra-celulares. As implicações terapêuticas e prognósticas das várias etiologias são muito distintas pelo que se torna essencial a busca do diagnóstico específico. Apresenta-se um caso de hipertrofia ventricular esquerda assintomática que após uma marcha diagnóstica sistemática se revelou como miocardiopatia hipertrófica sarcomérica de início tardio. Por vários dos exames complementares de diagnóstico terem sido equívocos ou inconclusivos, é um caso demonstrativo de que, por vezes, só a abordagem completa e exaustiva permite chegar ao diagnóstico definitivo. Partindo de um exemplo real e tendo por base as recomendações da Sociedade Europeia de Cardiologia, esquematizou-se uma abordagem diagnóstica faseada desta patologia.</code>                                                                                                              | <code>A síndrome Mounier-Kuhn é uma doença rara, caracterizada pela dilatação marcada da traqueia e brônquios, sem etiologia completamente esclarecida. Descrevemos o caso clínico de um homem de 48 anos de idade, com história prévia de infeções respiratórias de repetição de longa data, admitido no serviço de urgência com clínica compatível com nova infeção respiratória e elevação de parâmetros inflamatórios. A tomografia computorizada revelou achados sugestivos da síndrome em questão. O diagnóstico da Síndrome Mounier-Kuhn passa frequentemente despercebido sendo muitas vezes confundido com outras entidades. O seu diagnóstico é com frequência acidental e os exames radiológicos assumem um papel indispensável. O tratamento desta entidade é essencialmente de suporte.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | <code>0.0</code>  |
* Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
  ```json
  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: steps
- `num_train_epochs`: 10
- `warmup_ratio`: 0.1
- `fp16`: True
- `load_best_model_at_end`: True

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 8
- `per_device_eval_batch_size`: 8
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 10
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch      | Step     | Training Loss | Validation Loss | spearman_cosine | sts-test_spearman_cosine |
|:----------:|:--------:|:-------------:|:---------------:|:---------------:|:------------------------:|
| 0.5181     | 100      | 0.1677        | 0.1109          | 0.3495          | -                        |
| 1.0363     | 200      | 0.0986        | 0.1124          | 0.3727          | -                        |
| 1.5544     | 300      | 0.0742        | 0.1074          | 0.4131          | -                        |
| 2.0725     | 400      | 0.068         | 0.0850          | 0.5223          | -                        |
| 2.5907     | 500      | 0.0411        | 0.0816          | 0.5471          | -                        |
| 3.1088     | 600      | 0.035         | 0.0766          | 0.5903          | -                        |
| 3.6269     | 700      | 0.0197        | 0.0675          | 0.6320          | -                        |
| 4.1451     | 800      | 0.0214        | 0.0697          | 0.6253          | -                        |
| 4.6632     | 900      | 0.0117        | 0.0668          | 0.6467          | -                        |
| 5.1813     | 1000     | 0.0101        | 0.0655          | 0.6491          | -                        |
| 5.6995     | 1100     | 0.0066        | 0.0604          | 0.6800          | -                        |
| 6.2176     | 1200     | 0.0057        | 0.0605          | 0.6776          | -                        |
| 6.7358     | 1300     | 0.0037        | 0.0606          | 0.6765          | -                        |
| 7.2539     | 1400     | 0.003         | 0.0603          | 0.6760          | -                        |
| 7.7720     | 1500     | 0.0027        | 0.0587          | 0.6872          | -                        |
| 8.2902     | 1600     | 0.0019        | 0.0588          | 0.6862          | -                        |
| **8.8083** | **1700** | **0.0018**    | **0.0584**      | **0.6895**      | **-**                    |
| 9.3264     | 1800     | 0.0016        | 0.0587          | 0.6871          | -                        |
| 9.8446     | 1900     | 0.0014        | 0.0589          | 0.6856          | -                        |
| 10.0       | 1930     | -             | -               | -               | 0.6895                   |

* The bold row denotes the saved checkpoint.



<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->