Sergei Vorobev commited on
Commit
db0150f
·
1 Parent(s): e080b39

update repo

Browse files
Files changed (2) hide show
  1. LICENSE +4 -4
  2. README.md +4 -3
LICENSE CHANGED
@@ -43,7 +43,7 @@ d. предлагать или навязывать какие-либо усло
43
 
44
  III. УКАЗАНИЕ АВТОРСТВА
45
 
46
- При распространении Материалов, а также их Производных произведений, или произведений, включающих Материалы) Вы должны (i) предоставить копию Соглашения и (ii) указать следующее уведомление об авторских правах: “YandexGPT-5-Lite-8B-pretrain распространяется на условиях Лицензионного соглашения YandexGPT-5-Lite-8B-pretrain. Copyright (c) 2025, ОО «ЯНДЕКС». Все права защищены”.
47
 
48
  IV. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ
49
 
@@ -64,15 +64,15 @@ VII. ПРЕКРАЩЕНИЕ ДЕЙСТВИЯ СОГЛАШЕНИЯ
64
  c. Следующие разделы Соглашения остаются в силе даже после прекращения его действия: II (ОГРАНИЧЕНИЯ), III (УКАЗАНИЕ АВТОРСТВА), IV (ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ), V (ОГРАНИЧЕНИЕ ОТВЕТСТВЕННОСТИ), VI (ВОЗМЕЩЕНИЕ УБЫТКОВ), VII (ПРЕКРАЩЕНИЕ ДЕЙСТВИЯ СОГЛАШЕНИЯ), VIII (ТОВАРНЫЕ ЗНАКИ), IX (ПРИМЕНИМОЕ ПРАВО; РАЗРЕШЕНИЕ СПОРОВ) и X (ИНОЕ).
65
 
66
 
67
- VIII. ТОВАРНЫЕ ЗНАКИ И УПОМИНАНИЯ ЯНДЕКСА
68
 
69
  Соглашение не предполагает предоставления Лицензиату лицензии или иного разрешения в отношении права использования товарных знаков Яндекса или иных обозначений Яндекса. Лицензиат не вправе использовать какое-либо наименование или товарные знаки Яндекса без предварительного письменного согласия Яндекса, за исключением случаев, когда это необходимо для указания уведомления об авторских правах, требуемого разделом III “УКАЗАНИЕ АВТОРСТВА” Соглашения.
70
 
71
- IX. ПРИМЕНИМОЕ ПРАВО; ПОРЯДОК РАЗРЕШЕНИЯ СПОРОВ
72
 
73
  Соглашение регулируется и толкуется в соответствии с законодательством Российской Федерации. Любой иск или разбирательство, вытекающие из Соглашения или связанные с ним, должны рассматриваться в судах г. Москвы, и каждая сторона безоговорочно подчиняется юрисдикции и месту проведения таких судов.
74
 
75
- X. ИНОЕ
76
 
77
  Если какое-либо положение или часть положения Соглашения признается незаконным, недействительным или не имеющим законной силы, такое положение или его часть считаются исключенными из Соглашения и не влияют на действительность и применимость остальных положений Соглашения. Нереализация Яндексом какого-либо права или положения Соглашения не будет считаться отказом от такого права или положения. Соглашение вместе с Документацией образует единое соглашение между вами и Яндексом относительно предмета Соглашения и заменяет собой все иные письменные или устные соглашения и договоренности относительно такого предмета. Никакие изменения или дополнения к каким-либо положениям Соглашения не будут иметь обязательной силы, если они не оформлены в письменной форме и не подписаны уполномоченными представителями от Вас и Яндекса.
78
 
 
43
 
44
  III. УКАЗАНИЕ АВТОРСТВА
45
 
46
+ При распространении Материалов, а также их Производных произведений, или произведений, включающих Материалы) Вы должны (i) предоставить копию Соглашения и (ii) указать следующее уведомление об авторских правах: “YandexGPT-5-Lite-8B-pretrain распространяется на условиях Лицензионного соглашения YandexGPT-5-Lite-8B-pretrain. Copyright (c) 2025, ООО «ЯНДЕКС». Все права защищены”.
47
 
48
  IV. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ
49
 
 
64
  c. Следующие разделы Соглашения остаются в силе даже после прекращения его действия: II (ОГРАНИЧЕНИЯ), III (УКАЗАНИЕ АВТОРСТВА), IV (ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ), V (ОГРАНИЧЕНИЕ ОТВЕТСТВЕННОСТИ), VI (ВОЗМЕЩЕНИЕ УБЫТКОВ), VII (ПРЕКРАЩЕНИЕ ДЕЙСТВИЯ СОГЛАШЕНИЯ), VIII (ТОВАРНЫЕ ЗНАКИ), IX (ПРИМЕНИМОЕ ПРАВО; РАЗРЕШЕНИЕ СПОРОВ) и X (ИНОЕ).
65
 
66
 
67
+ VIII. ТОВАРНЫЕ ЗНАКИ И УПОМИНАНИЯ ЯНДЕКСА
68
 
69
  Соглашение не предполагает предоставления Лицензиату лицензии или иного разрешения в отношении права использования товарных знаков Яндекса или иных обозначений Яндекса. Лицензиат не вправе использовать какое-либо наименование или товарные знаки Яндекса без предварительного письменного согласия Яндекса, за исключением случаев, когда это необходимо для указания уведомления об авторских правах, требуемого разделом III “УКАЗАНИЕ АВТОРСТВА” Соглашения.
70
 
71
+ IX. ПРИМЕНИМОЕ ПРАВО; ПОРЯДОК РАЗРЕШЕНИЯ СПОРОВ
72
 
73
  Соглашение регулируется и толкуется в соответствии с законодательством Российской Федерации. Любой иск или разбирательство, вытекающие из Соглашения или связанные с ним, должны рассматриваться в судах г. Москвы, и каждая сторона безоговорочно подчиняется юрисдикции и месту проведения таких судов.
74
 
75
+ X. ИНОЕ
76
 
77
  Если какое-либо положение или часть положения Соглашения признается незаконным, недействительным или не имеющим законной силы, такое положение или его часть считаются исключенными из Соглашения и не влияют на действительность и применимость остальных положений Соглашения. Нереализация Яндексом какого-либо права или положения Соглашения не будет считаться отказом от такого права или положения. Соглашение вместе с Документацией образует единое соглашение между вами и Яндексом относительно предмета Соглашения и заменяет собой все иные письменные или устные соглашения и договоренности относительно такого предмета. Никакие изменения или дополнения к каким-либо положениям Соглашения не будут иметь обязательной силы, если они не оформлены в письменной форме и не подписаны уполномоченными представителями от Вас и Яндекса.
78
 
README.md CHANGED
@@ -23,7 +23,7 @@ Pretrain-версия большой языковой модели YandexGPT 5 L
23
  ## Бенчмарки
24
  В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их:
25
 
26
- <img src="https://habrastorage.org/r/w1560/getpro/habr/upload_files/fab/0de/405/fab0de40517e1fd4efc1302eaaf325d8.png" alt="Таблица бенчмарков" width="90%"/>
27
 
28
  \* по данным репорта разработчиков модели. <br>
29
  BBH — 3-shot, HUMAN_EVAL и MPBB — 0-shot, все остальные бенчмарки — 5-shot. <br>
@@ -42,6 +42,7 @@ tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, legacy=False)
42
  model = AutoModelForCausalLM.from_pretrained(
43
  MODEL_NAME,
44
  device_map="cuda",
 
45
  )
46
 
47
  input_text = "Кто сказал тебе, что нет на свете настоящей,"
@@ -99,7 +100,7 @@ print(tokenizer.decode(outputs[0].tolist()))
99
  Скачиваем репозиторий:
100
  ```bash
101
  tune download yandex/YandexGPT-5-Lite-8B-pretrain \
102
- --output-dir YandexGPT-5-Lite-8B-pretrain \
103
  ```
104
 
105
  Смотрим список конфигов и копируем подходящий под задачу:
@@ -115,4 +116,4 @@ tune cp llama3_1/8B_lora training_config.yaml
115
  tune run lora_finetune_single_device --config training_config.yaml
116
  ```
117
 
118
- Подробности можно найти в официальной [документации](https://pytorch.org/torchtune/stable/overview.html) torchtune.
 
23
  ## Бенчмарки
24
  В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их:
25
 
26
+ <img src="https://habrastorage.org/r/w1560/getpro/habr/upload_files/fab/0de/405/fab0de40517e1fd4efc1302eaaf325d8.png" alt="Таблица бенчмарков" width="100%"/>
27
 
28
  \* по данным репорта разработчиков модели. <br>
29
  BBH — 3-shot, HUMAN_EVAL и MPBB — 0-shot, все остальные бенчмарки — 5-shot. <br>
 
42
  model = AutoModelForCausalLM.from_pretrained(
43
  MODEL_NAME,
44
  device_map="cuda",
45
+ torch_dtype="auto",
46
  )
47
 
48
  input_text = "Кто сказал тебе, что нет на свете настоящей,"
 
100
  Скачиваем репозиторий:
101
  ```bash
102
  tune download yandex/YandexGPT-5-Lite-8B-pretrain \
103
+ --output-dir YandexGPT-5-Lite-8B-pretrain
104
  ```
105
 
106
  Смотрим список конфигов и копируем подходящий под задачу:
 
116
  tune run lora_finetune_single_device --config training_config.yaml
117
  ```
118
 
119
+ Подробности можно найти в официальной [документации](https://pytorch.org/torchtune/stable/overview.html) torchtune.