Update tokenizer_config.json

tokenizer_config.json

@@ -369,7 +369,7 @@
     "<|bank_account|>"
   ],
   "bos_token": "<|endoftext|>",
-  "chat_template": "{%- if tools is iterable and tools | length > 0 %}\n                {{- '<|im_start|><|system|>'}}\n                {{- '당신은 도구 호출 기능을 갖춘 유용한 도우미입니다. 사용자의 요청을 처리하기 위해서 필요한 도구가 주어진 목록에 있는 경우 도구 호출로 응답하세요.\n필요한 도구가 목록에 없는 경우에는 도구 호출 없이 사용자가 요구한 정보를 제공하세요.\n필요한 도구가 목록에 있지만 해당 도구를 호출하는데 필요한 argument 정보가 부족한 경우 해당 정보를 사용자에게 요청하세요.\n사용자의 요청을 처리하기 위해 여러번 도구를 호출할 수 있어야 합니다.\n도구 호출 이후 도구 실행 결과를 입력으로 받으면 해당 결과를 활용하여 답변을 생성하세요.\n\n다음은 접근할 수 있는 도구들의 목록 입니다:\n<tools>\n'}}\n                {%- for t in tools %}\n                    {{- t | tojson }}\n                    {{- '\n' }}\n                {%- endfor %}\n                {{- '</tools>' }}\n                {{- '\n\n도구를 호출하려면 아래의 JSON으로 응답하세요.\n도구 호출 형식: <tool_call>{\"name\": 도구 이름, \"arguments\": dictionary 형태의 도구 인자값}</tool_call>' }}\n                \n                {%- if messages[0].role == 'system' %}\n                    {{- '\n\n' + messages[0].content}}\n                    {% set dummy = messages.pop(0) %}\n                {%- endif %}  \n                {{- '<|im_end|>' }}\n            {%- endif %}\n    \n            {%- for message in messages %}\n                {%- if message.role == 'system' %}\n                    {{- '<|im_start|><|system|>' + message.content + '<|im_end|>'}}\n                {%- elif message.role == 'user' %}\n                    {{- '<|im_start|><|user|>' + message.content + '<|im_end|>'}}\n                {%- elif message.role == 'assistant' %}\n                    {{- '<|im_start|><|assistant|>'}}\n                    {%- if message.content is defined %}\n                        {{- message.content}}\n                    {%- endif %}\n                    {%- if message.tool_calls is defined %}\n                        {%- for tool_call in message.tool_calls %}\n                            {%- if tool_call.function is defined %}\n                                {%- set tool_call = tool_call.function %}\n                            {%- endif %}\n                            {{- '<tool_call>' }}\n                            {{- '{' }}\n                            {{- '\"name\": \"' }}\n                            {{- tool_call.name }}\n                            {{- '\"' }}\n                            {%- if tool_call.arguments is defined %}\n                                {{- ', ' }}\n                                {{- '\"arguments\": ' }}\n                                {{- tool_call.arguments|tojson }}\n                            {%- endif %}\n                            {{- '}' }}\n                            {{- '</tool_call>' }}\n                        {%- endfor %}\n                    {%- endif %}\n                    {{- '<|im_end|>'}}\n    \n                {%- elif message.role == 'tool' %}\n                    {{- '<|im_start|><|extra_id_13|><tool_output>' + message.content + '</tool_output><|im_end|>'}}\n                {%- endif %}\n            {%- endfor %}\n            {%- if add_generation_prompt %}\n                {{- '<|im_start|><|assistant|>'}}\n            {%- endif %}",
+  "chat_template": "{%- if tools is iterable and tools | length > 0 %}\n                    {{- '<|im_start|><|system|>'}}\n                    {{- '당신은 도구 호출 기능을 갖춘 유용한 도우미입니다. 사용자의 요청을 처리하기 위해서 필요한 도구가 주어진 목록에 있는 경우 도구 호출로 응답하세요.\n필요한 도구가 목록에 없는 경우에는 도구 호출 없이 사용자가 요구한 정보를 제공하세요.\n필요한 도구가 목록에 있지만 해당 도구를 호출하는데 필요한 argument 정보가 부족한 경우 해당 정보를 사용자에게 요청하세요.\n사용자의 요청을 처리하기 위해 여러번 도구를 호출할 수 있어야 합니다.\n도구 호출 이후 도구 실행 결과를 입력으로 받으면 해당 결과를 활용하여 답변을 생성하세요.\n\n다음은 접근할 수 있는 도구들의 목록 입니다:\n<tools>\n'}}\n                    {%- for t in tools %}\n                        {{- t | tojson }}\n                        {{- '\n' }}\n                    {%- endfor %}\n                    {{- '</tools>' }}\n                    {{- '\n\n도구를 호출하려면 아래의 JSON으로 응답하세요.\n도구 호출 형식: <tool_call>{\"name\": 도구 이름, \"arguments\": dictionary 형태의 도구 인자값}</tool_call>' }}\n                    {{- '<|im_end|>' }}\n                {%- endif %}\n        \n                {%- for message in messages %}\n                    {%- if message.role == 'system' %}\n                        {{- '<|im_start|><|system|>' + message.content + '<|im_end|>'}}\n                    {%- elif message.role == 'user' %}\n                        {{- '<|im_start|><|user|>' + message.content + '<|im_end|>'}}\n                    {%- elif message.role == 'assistant' %}\n                        {{- '<|im_start|><|assistant|>'}}\n                        {%- set content = '' %}\n                        {%- if message.content is defined %}\n                            {%- set content = message.content %}\n                        {%- endif %}\n                        \n                {%- if add_generation_prompt and not (message.reasoning_content is defined and message.reasoning_content is not none) %}\n                    {%- if '</think>' in message.content %}\n                        {%- set content = message.content.split('</think>'.strip())[-1].lstrip('\\n') %}\n                    {%- endif %}\n                {%- endif %}\n                \n                        {{- content}}\n                        {%- if message.tool_calls is defined %}\n                            {%- for tool_call in message.tool_calls %}\n                                {%- if tool_call.function is defined %}\n                                    {%- set tool_call = tool_call.function %}\n                                {%- endif %}\n                                {{- '<tool_call>' }}\n                                {{- '{' }}\n                                {{- '\"name\": \"' }}\n                                {{- tool_call.name }}\n                                {{- '\"' }}\n                                {%- if tool_call.arguments is defined %}\n                                    {{- ', ' }}\n                                    {{- '\"arguments\": ' }}\n                                    {{- tool_call.arguments|tojson }}\n                                {%- endif %}\n                                {{- '}' }}\n                                {{- '</tool_call>' }}\n                            {%- endfor %}\n                        {%- endif %}\n                        {{- '<|im_end|>'}}\n        \n                    {%- elif message.role == 'tool' %}\n                        {{- '<|im_start|><|extra_id_13|><tool_output>' + message.content + '</tool_output><|im_end|>'}}\n                    {%- endif %}\n                {%- endfor %}\n                \n                    {%- if add_generation_prompt %}\n                        {{- '<|im_start|><|assistant|>' }}\n                    {%- endif %}",
   "clean_up_tokenization_spaces": true,
   "cls_token": "<|cls|>",
   "eod_token": "<|endoftext|>",