Sergei Vorobev
commited on
Commit
·
db0150f
1
Parent(s):
e080b39
update repo
Browse files
LICENSE
CHANGED
@@ -43,7 +43,7 @@ d. предлагать или навязывать какие-либо усло
|
|
43 |
|
44 |
III. УКАЗАНИЕ АВТОРСТВА
|
45 |
|
46 |
-
При распространении Материалов, а также их Производных произведений, или произведений, включающих Материалы) Вы должны (i) предоставить копию Соглашения и (ii) указать следующее уведомление об авторских правах: “YandexGPT-5-Lite-8B-pretrain распространяется на условиях Лицензионного соглашения YandexGPT-5-Lite-8B-pretrain. Copyright (c) 2025,
|
47 |
|
48 |
IV. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ
|
49 |
|
@@ -64,15 +64,15 @@ VII. ПРЕКРАЩЕНИЕ ДЕЙСТВИЯ СОГЛАШЕНИЯ
|
|
64 |
c. Следующие разделы Соглашения остаются в силе даже после прекращения его действия: II (ОГРАНИЧЕНИЯ), III (УКАЗАНИЕ АВТОРСТВА), IV (ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ), V (ОГРАНИЧЕНИЕ ОТВЕТСТВЕННОСТИ), VI (ВОЗМЕЩЕНИЕ УБЫТКОВ), VII (ПРЕКРАЩЕНИЕ ДЕЙСТВИЯ СОГЛАШЕНИЯ), VIII (ТОВАРНЫЕ ЗНАКИ), IX (ПРИМЕНИМОЕ ПРАВО; РАЗРЕШЕНИЕ СПОРОВ) и X (ИНОЕ).
|
65 |
|
66 |
|
67 |
-
|
68 |
|
69 |
Соглашение не предполагает предоставления Лицензиату лицензии или иного разрешения в отношении права использования товарных знаков Яндекса или иных обозначений Яндекса. Лицензиат не вправе использовать какое-либо наименование или товарные знаки Яндекса без предварительного письменного согласия Яндекса, за исключением случаев, когда это необходимо для указания уведомления об авторских правах, требуемого разделом III “УКАЗАНИЕ АВТОРСТВА” Соглашения.
|
70 |
|
71 |
-
|
72 |
|
73 |
Соглашение регулируется и толкуется в соответствии с законодательством Российской Федерации. Любой иск или разбирательство, вытекающие из Соглашения или связанные с ним, должны рассматриваться в судах г. Москвы, и каждая сторона безоговорочно подчиняется юрисдикции и месту проведения таких судов.
|
74 |
|
75 |
-
|
76 |
|
77 |
Если какое-либо положение или часть положения Соглашения признается незаконным, недействительным или не имеющим законной силы, такое положение или его часть считаются исключенными из Соглашения и не влияют на действительность и применимость остальных положений Соглашения. Нереализация Яндексом какого-либо права или положения Соглашения не будет считаться отказом от такого права или положения. Соглашение вместе с Документацией образует единое соглашение между вами и Яндексом относительно предмета Соглашения и заменяет собой все иные письменные или устные соглашения и договоренности относительно такого предмета. Никакие изменения или дополнения к каким-либо положениям Соглашения не будут иметь обязательной силы, если они не оформлены в письменной форме и не подписаны уполномоченными представителями от Вас и Яндекса.
|
78 |
|
|
|
43 |
|
44 |
III. УКАЗАНИЕ АВТОРСТВА
|
45 |
|
46 |
+
При распространении Материалов, а также их Производных произведений, или произведений, включающих Материалы) Вы должны (i) предоставить копию Соглашения и (ii) указать следующее уведомление об авторских правах: “YandexGPT-5-Lite-8B-pretrain распространяется на условиях Лицензионного соглашения YandexGPT-5-Lite-8B-pretrain. Copyright (c) 2025, ООО «ЯНДЕКС». Все права защищены”.
|
47 |
|
48 |
IV. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ
|
49 |
|
|
|
64 |
c. Следующие разделы Соглашения остаются в силе даже после прекращения его действия: II (ОГРАНИЧЕНИЯ), III (УКАЗАНИЕ АВТОРСТВА), IV (ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ), V (ОГРАНИЧЕНИЕ ОТВЕТСТВЕННОСТИ), VI (ВОЗМЕЩЕНИЕ УБЫТКОВ), VII (ПРЕКРАЩЕНИЕ ДЕЙСТВИЯ СОГЛАШЕНИЯ), VIII (ТОВАРНЫЕ ЗНАКИ), IX (ПРИМЕНИМОЕ ПРАВО; РАЗРЕШЕНИЕ СПОРОВ) и X (ИНОЕ).
|
65 |
|
66 |
|
67 |
+
VIII. ТОВАРНЫЕ ЗНАКИ И УПОМИНАНИЯ ЯНДЕКСА
|
68 |
|
69 |
Соглашение не предполагает предоставления Лицензиату лицензии или иного разрешения в отношении права использования товарных знаков Яндекса или иных обозначений Яндекса. Лицензиат не вправе использовать какое-либо наименование или товарные знаки Яндекса без предварительного письменного согласия Яндекса, за исключением случаев, когда это необходимо для указания уведомления об авторских правах, требуемого разделом III “УКАЗАНИЕ АВТОРСТВА” Соглашения.
|
70 |
|
71 |
+
IX. ПРИМЕНИМОЕ ПРАВО; ПОРЯДОК РАЗРЕШЕНИЯ СПОРОВ
|
72 |
|
73 |
Соглашение регулируется и толкуется в соответствии с законодательством Российской Федерации. Любой иск или разбирательство, вытекающие из Соглашения или связанные с ним, должны рассматриваться в судах г. Москвы, и каждая сторона безоговорочно подчиняется юрисдикции и месту проведения таких судов.
|
74 |
|
75 |
+
X. ИНОЕ
|
76 |
|
77 |
Если какое-либо положение или часть положения Соглашения признается незаконным, недействительным или не имеющим законной силы, такое положение или его часть считаются исключенными из Соглашения и не влияют на действительность и применимость остальных положений Соглашения. Нереализация Яндексом какого-либо права или положения Соглашения не будет считаться отказом от такого права или положения. Соглашение вместе с Документацией образует единое соглашение между вами и Яндексом относительно предмета Соглашения и заменяет собой все иные письменные или устные соглашения и договоренности относительно такого предмета. Никакие изменения или дополнения к каким-либо положениям Соглашения не будут иметь обязательной силы, если они не оформлены в письменной форме и не подписаны уполномоченными представителями от Вас и Яндекса.
|
78 |
|
README.md
CHANGED
@@ -23,7 +23,7 @@ Pretrain-версия большой языковой модели YandexGPT 5 L
|
|
23 |
## Бенчмарки
|
24 |
В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их:
|
25 |
|
26 |
-
<img src="https://habrastorage.org/r/w1560/getpro/habr/upload_files/fab/0de/405/fab0de40517e1fd4efc1302eaaf325d8.png" alt="Таблица бенчмарков" width="
|
27 |
|
28 |
\* по данным репорта разработчиков модели. <br>
|
29 |
BBH — 3-shot, HUMAN_EVAL и MPBB — 0-shot, все остальные бенчмарки — 5-shot. <br>
|
@@ -42,6 +42,7 @@ tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, legacy=False)
|
|
42 |
model = AutoModelForCausalLM.from_pretrained(
|
43 |
MODEL_NAME,
|
44 |
device_map="cuda",
|
|
|
45 |
)
|
46 |
|
47 |
input_text = "Кто сказал тебе, что нет на свете настоящей,"
|
@@ -99,7 +100,7 @@ print(tokenizer.decode(outputs[0].tolist()))
|
|
99 |
Скачиваем репозиторий:
|
100 |
```bash
|
101 |
tune download yandex/YandexGPT-5-Lite-8B-pretrain \
|
102 |
-
--output-dir YandexGPT-5-Lite-8B-pretrain
|
103 |
```
|
104 |
|
105 |
Смотрим список конфигов и копируем подходящий под задачу:
|
@@ -115,4 +116,4 @@ tune cp llama3_1/8B_lora training_config.yaml
|
|
115 |
tune run lora_finetune_single_device --config training_config.yaml
|
116 |
```
|
117 |
|
118 |
-
Подробности можно найти в официальной [документации](https://pytorch.org/torchtune/stable/overview.html) torchtune.
|
|
|
23 |
## Бенчмарки
|
24 |
В своей категории модель достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим — превосходит их:
|
25 |
|
26 |
+
<img src="https://habrastorage.org/r/w1560/getpro/habr/upload_files/fab/0de/405/fab0de40517e1fd4efc1302eaaf325d8.png" alt="Таблица бенчмарков" width="100%"/>
|
27 |
|
28 |
\* по данным репорта разработчиков модели. <br>
|
29 |
BBH — 3-shot, HUMAN_EVAL и MPBB — 0-shot, все остальные бенчмарки — 5-shot. <br>
|
|
|
42 |
model = AutoModelForCausalLM.from_pretrained(
|
43 |
MODEL_NAME,
|
44 |
device_map="cuda",
|
45 |
+
torch_dtype="auto",
|
46 |
)
|
47 |
|
48 |
input_text = "Кто сказал тебе, что нет на свете настоящей,"
|
|
|
100 |
Скачиваем репозиторий:
|
101 |
```bash
|
102 |
tune download yandex/YandexGPT-5-Lite-8B-pretrain \
|
103 |
+
--output-dir YandexGPT-5-Lite-8B-pretrain
|
104 |
```
|
105 |
|
106 |
Смотрим список конфигов и копируем подходящий под задачу:
|
|
|
116 |
tune run lora_finetune_single_device --config training_config.yaml
|
117 |
```
|
118 |
|
119 |
+
Подробности можно найти в официальной [документации](https://pytorch.org/torchtune/stable/overview.html) torchtune.
|