Update tokenizer.json and chat_template.jinja
#1
by
Bingsu
- opened
토크나이저 관련 파일들을 추가합니다.
없어도 동작하지만, 특정 사례에서 필요할 수 있습니다.
안녕하세요.
tokenizer.json 파일의 경우 누락된 것을 확인하였고, 추가하였습니다.
chat_template의 경우 tokenizer_config.json 파일 내에 이미 포함되어 있는 내용으로, 중복된 파일을 사용할 이유가 없어 별도로 추가하지 않았습니다.
감사합니다.
감사합니다~~
Bingsu
changed pull request status to
closed