Create README.md

README.md

@@ -0,0 +1,143 @@
+---
+license: mit
+language:
+- pt
+base_model:
+- Qwen/Qwen2.5-0.5B-Instruct
+pipeline_tag: text-generation
+datasets:
+- adalbertojunior/openHermes_portuguese
+- cnmoro/smoltalk-555k-ptbr
+- cnmoro/RagMixPTBR-Legal-Alpaca-2M
+- cnmoro/LogicReasoningEnglishPortuguese
+---
+
+Qwen2.5-0.5B finetuned for proficiency in Portuguese language and increased intelligence, as well as supporting  
+reasoning (can be toggled on or off)
+
+```plaintext
+https://ollama.com/cnmoro/Qwen2.5-0.5B-Portuguese-Hybrid-Reasoning
+```
+
+---
+
+Load the model
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_name = "cnmoro/Qwen2.5-0.5B-Portuguese-Hybrid-Reasoning"
+
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype="auto",
+    device_map="auto"
+)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+prompt = "Escreva uma breve introdução sobre LLMs (Large Language Models) e suas aplicações."
+```
+
+---
+
+Reasoning **OFF**
+
+```python
+# System prompt is always injected and hardcoded automatically
+# for ideal performance in portuguese language.
+# No need to write it.
+messages = [
+    {"role": "user", "content": prompt}
+]
+text = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True
+)
+model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
+
+generated_ids = model.generate(
+    **model_inputs,
+    max_new_tokens=512
+)
+generated_ids = [
+    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+]
+
+response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+response
+# LLMs são sistemas avançados de inteligência artificial projetados para imitar a cognição humana. Elas são capazes de processar grandes # quantidades de dados de texto, permitindo que as máquinas entendam, respondam e gerem linguagem complexa.
+# 
+# As LLMs têm diversas aplicações importantes:
+# 
+# 1. Comunicação: Elas podem facilitar interações humanóides entre humanos e computadores.
+# 2. Análise de Dados: Eles ajudam na extração de insights significativos de grandes volumes de dados.
+# 3. Assistentes Virtuais: LMLs podem criar assistentes virtuais com recursos como tradução de idiomas e previsão de sentimentos.
+# 4. Processamento de Linguagem Natural: Eles permitem que os chatbots interpretem e respondam à linguagem natural.
+# 5. Aprendizado de Máquina: LMLs podem treinar modelos de aprendizado de máquina para reconhecimento de padrões e geração de texto.
+
+# Ao combinar processamento de linguagem profundo, visão computacional e aprendizado de máquina, as LLMs estão preparadas para desafios # complexos em vários campos. Essas aplicações levaram a inovações revolucionárias em áreas como saúde, educação e finanças, onde sistemas de IA tradicionais poderiam ter dificuldades para fornecer soluções eficazes.
+```
+
+---
+
+Reasoning **ON**
+
+```python
+messages = [
+    {"role": "system", "content": "Reason"}, # Use "Reason" as the system message and it will be handled automatically through the custom template
+    {"role": "user", "content": prompt}
+]
+text = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True
+)
+model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
+
+generated_ids = model.generate(
+    **model_inputs,
+    max_new_tokens=512
+)
+generated_ids = [ # Note the "-3" in the line below
+    output_ids[len(input_ids)-3:] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+]
+
+response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+response
+# <think>
+# Para escrever uma introdução sobre LLMs, preciso considerar os principais aspectos dos LLMs e sua aplicação.
+
+# O usuário está pedindo uma introdução, então devo focar na definição básica e em como ela se relaciona com a tecnologia LLM.
+
+# Vamos dividir isso passo a passo:
+
+# 1. Definir Large Language Models (LLMs)
+# 2. Explicar sua funcionalidade principal
+# 3. Descrever sua aplicação
+# 4. Mencionar os benefícios
+
+# Agora, vamos prosseguir com a introdução:
+# </think>
+# LLMs ou Large Language Models, são inteligência artificial avançada projetadas para simular a cognição humana em linguagem natural. Eles foram desenvolvidos para processamento de texto e fala complexos, permitindo que sistemas de IA compreendam, interpretem e gerem texto e fala humanos.
+
+# Os LLMs funcionam por meio de um algoritmo de aprendizado profundo inspirado no cérebro humano. Eles usam redes neurais com múltiplas camadas para analisar grandes quantidades de dados de texto e fala, permitindo que as máquinas entendam e respondam a perguntas complexas.
+
+# As aplicações de LLMs são vastas e variadas. Alguns exemplos incluem:
+# - Resumo automático de artigos acadêmicos
+# - Geração de conteúdo original
+# - Análise de sentimentos em mídias sociais
+# - Processamento de linguagem natural para chatbots
+# - Reconhecimento de entidades nomeadas em documentos
+# - Tomada de decisões em negociações internacionais
+# - Modelagem financeira
+# - Gerenciamento da saúde mental
+
+# Apesar de suas inúmeras possibilidades, os LLMs enfrentam desafios significativos, como:
+# - Falta de contexto nos dados de treinamento
+# - Problemas de generalização para novos tópicos
+# - Potencial de manipulação de dados
+# - Dificuldade em entender e interpretar a própria consciência
+
+# À medida que a tecnologia LLM continua a evoluir, podemos esperar vê-la utilizada em vários setores e áreas, desde educação até finanças.
+```