lbourdois commited on
Commit
d174b1c
·
verified ·
1 Parent(s): e2b0465

Improve language tag

Browse files

Hi! As the model is multilingual, this is a PR to add other languages than English to the language tag to improve the referencing. Note that 29 languages are announced in the README, but only 13 are explicitly listed. I was therefore only able to add these 13 languages.

Files changed (1) hide show
  1. README.md +74 -63
README.md CHANGED
@@ -1,63 +1,74 @@
1
- ---
2
- license: apache-2.0
3
- language:
4
- - ja
5
- - en
6
- base_model:
7
- - Qwen/Qwen2.5-32B-Instruct
8
- - abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1
9
- - cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese
10
- ---
11
-
12
- ## 概要
13
- このモデルはDeepSeek社のR1蒸留モデルである[deepseek-ai/DeepSeek-R1-Distill-Qwen-32B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B)を日本語ファインチューニングしたcyber agent社の[cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese](https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese)に対してAbeja社の[abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1](https://huggingface.co/abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1)をChatVectorを用いて加えたものに、独自の日本語強化ファインチューニングをしたモデルとなります。
14
-
15
- このモデルは **長考モデル**ではありません。
16
- ## How to use
17
- ```python
18
- from transformers import AutoModelForCausalLM, AutoTokenizer
19
-
20
- model_name = "DataPilot/Arrival-32B-Instruct-v0.1"
21
- tokenizer_name = ""
22
-
23
- if tokenizer_name == "":
24
- tokenizer_name = model_name
25
-
26
- model = AutoModelForCausalLM.from_pretrained(
27
- model_name,
28
- torch_dtype="auto",
29
- device_map="auto"
30
- )
31
- tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
32
-
33
- prompt = "9.9と9.11はどちらのほうが大きいですか?"
34
- messages = [
35
- {"role": "system", "content": "あなたは優秀な日本語アシスタントです。問題解決をするために考えた上で回答を行ってください。"},
36
- {"role": "user", "content": prompt}
37
- ]
38
- text = tokenizer.apply_chat_template(
39
- messages,
40
- tokenize=False,
41
- add_generation_prompt=True
42
- )
43
- model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
44
-
45
- generated_ids = model.generate(
46
- **model_inputs,
47
- max_new_tokens=1024
48
- )
49
- generated_ids = [
50
- output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
51
- ]
52
-
53
- response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
54
-
55
- print(response)
56
- ```
57
-
58
- ## ベンチマーク
59
- このモデルはELYZA-task100で4.7をマークしました。(評価にはGroqのllama3-70B-8192を使用しました。)
60
-
61
-
62
- ## 謝辞
63
- モデルの作成者であるDeepSeekチーム, Qwenチーム, Abejaチーム, CyberAgentチーム、評価モデルの作成者であるmeta社とAPIを公開しているGroq社、計算資源を貸していただいたVOLTMIND社に感謝を申し上げます。
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - zho
5
+ - eng
6
+ - fra
7
+ - spa
8
+ - por
9
+ - deu
10
+ - ita
11
+ - rus
12
+ - jpn
13
+ - kor
14
+ - vie
15
+ - tha
16
+ - ara
17
+ base_model:
18
+ - Qwen/Qwen2.5-32B-Instruct
19
+ - abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1
20
+ - cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese
21
+ ---
22
+
23
+ ## 概要
24
+ このモデルはDeepSeek社のR1蒸留モデルである[deepseek-ai/DeepSeek-R1-Distill-Qwen-32B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B)を日本語ファインチューニングしたcyber agent社の[cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese](https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese)に対してAbeja社の[abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1](https://huggingface.co/abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1)をChatVectorを用いて加えたものに、独自の日本語強化ファインチューニングをしたモデルとなります。
25
+
26
+ このモデルは **長考モデル**ではありません。
27
+ ## How to use
28
+ ```python
29
+ from transformers import AutoModelForCausalLM, AutoTokenizer
30
+
31
+ model_name = "DataPilot/Arrival-32B-Instruct-v0.1"
32
+ tokenizer_name = ""
33
+
34
+ if tokenizer_name == "":
35
+ tokenizer_name = model_name
36
+
37
+ model = AutoModelForCausalLM.from_pretrained(
38
+ model_name,
39
+ torch_dtype="auto",
40
+ device_map="auto"
41
+ )
42
+ tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
43
+
44
+ prompt = "9.9と9.11はどちらのほうが大きいですか?"
45
+ messages = [
46
+ {"role": "system", "content": "あなたは優秀な日本語アシスタントです。問題解決をするために考えた上で回答を行ってください。"},
47
+ {"role": "user", "content": prompt}
48
+ ]
49
+ text = tokenizer.apply_chat_template(
50
+ messages,
51
+ tokenize=False,
52
+ add_generation_prompt=True
53
+ )
54
+ model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
55
+
56
+ generated_ids = model.generate(
57
+ **model_inputs,
58
+ max_new_tokens=1024
59
+ )
60
+ generated_ids = [
61
+ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
62
+ ]
63
+
64
+ response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
65
+
66
+ print(response)
67
+ ```
68
+
69
+ ## ベンチマーク
70
+ このモデルはELYZA-task100で4.7をマークしました。(評価にはGroqのllama3-70B-8192を使用しました。)
71
+
72
+
73
+ ## 謝辞
74
+ モデルの作成者であるDeepSeekチーム, Qwenチーム, Abejaチーム, CyberAgentチーム、評価モデルの作成者であるmeta社とAPIを公開しているGroq社、計算資源を貸していただいたVOLTMIND社に感謝を申し上げます。