gguf 문의
#1
by
hskang2365
- opened
한글 AI 모델 연구에 감사합니다! 해당 모델을 ollama에서 활용하고자 합니다.
각종 커뮤니티를 찾아보니 safetensors는 llama.cpp를 통해 변환이 가능하지만, 현재 vision 관련 모델은 변환이 되지 않아 보입니다 ㅠ (*참조: https://github.com/ggerganov/llama.cpp/issues/9643) 혹시 gguf로 공개하실 계획은 없으신지 궁금합니다!
안녕하세요
서울과학기술대학교 MLP Lab 신동재 연구원입니다.
모델 규모가 다른 모델에 비해 상대적으로 작아 gguf 변환은 고려하지 않았습니다.
그래서 gguf버전 관련 부분은 확인을 해봐야할것 같습니다. 가능한 방안을 찾게 되면 코멘트를 다시 남기겠습니다.
감사합니다.