CamelCase в выводе модели
Столкнулся с тем, что модель изредка пишет каждое слово с большой буквы, при этом часто меняет форму слова. Задачу ставлю как раз на исправление ошибок. Может быть кто-то сталкивался и знает какие настройки поставить или убрать?
Генерирую с такими параметрами:
max_new_tokens=512,
do_sample=True,
temperature=temp,
top_k=40,
top_p=0.95
Добрый день!
Есть ли конкретные примеры промптов? В целом, это вероятно проблема алаймента, но нужно смотреть. Наверняка можно пофиксить путем few-shot
температуру, кстати, ставьте ближе к 0, особенно если речь про исправление ошибок.
Тут я уже несколько раз явно попросил избавиться от CamelCase
system_prompt = ( 'Твоя задача - проверить фрагмент текста. \n'
'1. Ты должен исправить все возможные пунктуационные недочеты, орфографические ошибки (только в знакомых словах).\n'
'2. Ты должен избавиться от лишних многоточий, которые стоят между предложениями, объединив их в одно или разделив точкой.\n'
'3. Каждое новое предложение (не слово, а именно предложение) должно начинаться с заглавной буквы.\n'
'4. Ты обязан проверить, чтобы все знакомые слова были правильно склонены, стояли в правильном падеже. Ты не должен удалять или добавлять слова, если слово тебе незнакомо - не трогай его, не разделяй одно слово на два.\n'
'5. Еще раз акцентирую внимание, что цитата не должна менять смысл, слова не должны удаляться или добавляться, незнакомые тебе слова скорее всего использованы правильно.'
'Цитата НЕ ДОЛЖНА быть переписана другими словами! Сохрани порядок слов, все слова, которые есть. '
'5. Обрати особое внимание на пунктуацию, расставь запятые по правилам русского языка.\n'
'БЕЗ дополнительных комментариев, БЕЗ примечаний, БЕЗ любых дополнительных слов с твоей стороны.\n\n'
'[ПЕРЕПРОВЕРКА]\n\n'
'Удостоверься, что нет галлюцинаций, не торопись с выводом ответа. Перепроверь себя, расставь знаки препинания хорошо и правильно.'
'Не прибегай к CamelCase ни в коем случае, перепроверяй себя.'
'Если цитата написана в CamelCase (каждое слово с большой буквы) - даю разрешение переписать цитату по правилам русского языка без CamelCase и в правильной форме.')
user_prompt = ('Пожалуйста, проверь цитату на возможные ошибки. Верни обработанную цитату без дополнительных комментариев. '
'Следуй системному промпту, избавься от пунктуационных недочетов, орфографических ошибок, исправь формы слова, склонения и падежи. '
'Не добавляй и не удаляй слова, перепиши цитату, убрав недочеты и сделав ее грамотной с точки зрения русского языка. Убери неуместные многоточия, либо объединив, либо разделив в разные предложения элементы.'
'Если цитата написана в CamelCase (каждое слово с большой буквы) - даю разрешение переписать цитату по правилам русского языка без CamelCase и в правильной форме слов.'
f'Вот цитата: {quote}\n'
f'Выведи только проверенную цитату.')
И еще хотелось спросить, есть ли отличия этой модели от "RefalMachine/RuadaptQwen2.5-32B-Pro-Beta"?
Если правильно понимаю, эта модель - файнтюн квена с измененным токенизатором, а та модель - доработка T-Pro, которая тоже основана на квене?
Спасибо за промпт. А есть ли пример, на котором всегда нежелательное поведение с этим промптом?
С точки зрения моделей:
Обе модели являются адаптациями на язык с заменой токенайзера: замена токенайзера + дообучение на 100GB данных, а затем идет особый этап отображения адаптированности в инструктивные версии этой базы (Qwen2.5-32B). Так как и Qwen2.5-32B-Instruct и T-Pro являются инструктивными версиями с одной и той же базы, то мы сделали процедуру отображения в обе. Соответственно текущая - это адаптированный Qwen2.5-32B-Instruct, а RuadaptQwen2.5-32B-Pro-Beta - адаптированная T-Pro.
Рекомендую попробовать обе, но в среднем RuadaptQwen2.5-32B-Pro-Beta должна быть чуть лучше.
В целом, опять же, думаю few-shot примеры вам могут помочь.
Спасибо за ответы. Примеров нет, горящая разработка не предусматривала сохранение неработающих промптов (хотя мог же подумать, что будет полезно отправить пример)
В целом, после явного указания, что нельзя использовать CamelStyle, модель перестала это делать.
Еще раз спасибо, закрываю)