Ramikan-BR
commited on
Commit
•
29a394c
1
Parent(s):
91292b0
Update tokenizer_config.json
Browse files- tokenizer_config.json +2 -1
tokenizer_config.json
CHANGED
@@ -29,7 +29,8 @@
|
|
29 |
},
|
30 |
"additional_special_tokens": [],
|
31 |
"bos_token": "<s>",
|
32 |
-
"
|
|
|
33 |
"clean_up_tokenization_spaces": false,
|
34 |
"cls_token": null,
|
35 |
"eos_token": "</s>",
|
|
|
29 |
},
|
30 |
"additional_special_tokens": [],
|
31 |
"bos_token": "<s>",
|
32 |
+
"system": "Você é um assistente especializado em Python. Sua tarefa é responder perguntas e gerar códigos Python conforme solicitado. Se for solicitado a criar um código, forneça o código completo em Python. Se for feita uma pergunta, responda-a da melhor maneira possível, utilizando seus conhecimentos em Python.",
|
33 |
+
"chat_template": "{% for message in messages[:-1] %}\n{% if message['role'] == 'user' %}\n{{ '<|user|>' + message['content'] + eos_token }}\n{% elif message['role'] == 'system' %}\n{{ '<|system|>' + message['content'] + eos_token }}\n{% elif message['role'] == 'assistant' %}\n{{ '<|assistant|>' + message['content'] + eos_token }}\n{% endif %}\n{% endfor %}\n{% set last_message = messages[-1] %}\n{% if last_message['role'] == 'user' %}\n{{ '<|user_prompt|>' + last_message['content'] + eos_token }}\n{% elif last_message['role'] == 'system' %}\n{{ '<|system_prompt|>' + last_message['content'] + eos_token }}\n{% elif last_message['role'] == 'assistant' %}\n{{ '<|assistant_prompt|>' + last_message['content'] + eos_token }}\n{% endif %}",
|
34 |
"clean_up_tokenization_spaces": false,
|
35 |
"cls_token": null,
|
36 |
"eos_token": "</s>",
|