mlx-community/plamo-2-1b-bf16

The Model mlx-community/plamo-2-1b-bf16 was converted to MLX format from pfnet/plamo-2-1b using mlx-lm version 0.21.5.

Use with mlx

pip install mlx numba  # numba is required for the new PLaMo tokenizer
pip install 'git+https://github.com/ml-explore/mlx-examples.git@main#egg=mlx-lm&subdirectory=llms'
python -m mlx_lm.generate \
--model mlx-community/plamo-2-1b-bf16 \
--prompt '## ็พŽๅ‘ณใ—ใ„ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–น:\n' \
--ignore-chat-template \
--max-tokens 1024 \
--extra-eos-token '<|plamo:bos|>' \
--temp 0.7 \
--seed 0
Fetching 8 files: 100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 8/8 [00:00<00:00, 68338.97it/s]
==========

### ๆ‰‹้ †1๏ผš้ฃŸๆใฎ่ณผๅ…ฅใจๆบ–ๅ‚™
ใ‚ซใƒฌใƒผใฎๆๆ–™ใ‚’้›†ใ‚ใพใ—ใ‚‡ใ†ใ€‚
- ใ‚ธใƒฃใ‚ฌใ‚คใƒข 2 ๅ€‹
- ็Ž‰ใญใŽ 2 ๅ€‹
- ใƒ‘ใƒ—ใƒชใ‚ซ ๏ผ‘ๅ€‹
- ใƒ‹ใƒณใƒ‹ใ‚ฏ 3 ็‰‡
- ใ‚นใƒ‘ใ‚คใ‚น๏ผˆใ‚ฏใƒŸใƒณใ€ใ‚ณใƒชใ‚ขใƒณใƒ€ใƒผใ€ใ‚ฌใƒฉใƒ ใƒžใ‚ตใƒฉใชใฉ๏ผ‰
- ใ‚ซใƒฌใƒผ็ฒ‰
- ๆฐด
- ๅกฉ
- ๆฒน
- ใ‚ซใƒฌใƒผใƒซใƒผ

### ๆ‰‹้ †2๏ผš้ฉๅˆ‡ใช้‡Ž่œใฎๆบ–ๅ‚™
ใ™ในใฆใฎๆๆ–™ใ‚’ๆด—ใฃใฆใ€่–„ๅˆ‡ใ‚Šใซใ—ใพใ™ใ€‚
- ใ‚ธใƒฃใ‚ฌใ‚คใƒขใ‚’ใใ‚Œใ„ใซๆด—ใ„ใ€ๅ››ใคๅˆ‡ใ‚Šใซใ—ใพใ™ใ€‚
- ็Ž‰ใญใŽใ‚’ใใ‚Œใ„ใซๆด—ใ„ใ€ใ‚นใƒฉใ‚คใ‚นใ—ใพใ™ใ€‚
- ใƒ‘ใƒ—ใƒชใ‚ซใ‚’ๆด—ใฃใฆใ€ใ‚นใƒฉใ‚คใ‚นใ—ใพใ™ใ€‚
- ใซใ‚“ใซใใ‚’่–„ใใ‚นใƒฉใ‚คใ‚นใ—ใพใ™ใ€‚

### ๆ‰‹้ †3๏ผšใ‚นใƒ‘ใ‚คใ‚นใฎๆบ–ๅ‚™
ใ‚นใƒ‘ใ‚คใ‚นใ‚’ๆบ–ๅ‚™ใ—ใพใ™๏ผš
- ใ‚ฏใƒŸใƒณใ€ใ‚ณใƒชใ‚ขใƒณใƒ€ใƒผใ€ใ‚ฌใƒฉใƒ ใƒžใ‚ตใƒฉใชใฉใ€ๅ„ใ‚นใƒ‘ใ‚คใ‚นใ‚’้‡ใซๅฟœใ˜ใฆใใ‚Œใžใ‚Œๆบ–ๅ‚™ใ—ใพใ™ใ€‚

### ๆ‰‹้ †4๏ผš้‡Ž่œใฎใ‚ฝใƒ†ใƒผ
้‡Ž่œใ‚’ใ‚ฝใƒ†ใƒผใ—ใพใ™๏ผš
- ไธญ็ซใงๅคงใใช้‹ใ‚’็†ฑใ—ใ€ๆฒนใ‚’็†ฑใ—ใพใ™ใ€‚
- ไธญ็ซใ‹ใ‚‰ไธญ็ซใงใ€ๆฒนใŒ็†ฑใใชใ‚Šใ™ใŽใชใ„็จ‹ๅบฆใซ็†ฑใ—ใพใ™ใ€‚
- ็Ž‰ใญใŽใจใ‚นใƒฉใ‚คใ‚นใ—ใŸใƒ‘ใƒ—ใƒชใ‚ซใ‚’ๅŠ ใˆใ€ๆ™‚ใ€…ใ‹ใๆททใœใชใŒใ‚‰ใ€ๆŸ”ใ‚‰ใ‹ใใชใ‚‹ใพใง็‚’ใ‚ใพใ™ใ€‚

### ๆ‰‹้ †5๏ผšใ‚นใƒ‘ใ‚คใ‚นใ‚’็‚’ใ‚ใ‚‹
ใ‚นใƒ‘ใ‚คใ‚นใ‚’ๅŠ ใˆใ‚‹๏ผš
- ใ‚ฏใƒŸใƒณใ€ใ‚ณใƒชใ‚ขใƒณใƒ€ใƒผใ€ใ‚ณใƒชใ‚ขใƒณใƒ€ใƒผใƒปใ‚ฌใƒฉใƒ ใƒžใ‚ตใƒฉใชใฉใฎใ‚นใƒ‘ใ‚คใ‚นใ‚’ๅŠ ใˆใ€ใ‚นใƒ‘ใ‚คใ‚นใŒๆบถใ‘ใ‚‹ใพใงใ‹ใๆททใœใพใ™ใ€‚

### ๆ‰‹้ †6๏ผšใ˜ใ‚ƒใŒใ„ใ‚‚ใ‚’็‚’ใ‚ใ‚‹
ใ˜ใ‚ƒใŒใ„ใ‚‚ใ‚’็‚’ใ‚ใ‚‹๏ผš
- ใ‚ธใƒฃใ‚ฌใ‚คใƒขใ‚’็†ฑใ—ใŸๆฒนใฎไธญใซใใฃใจๅ…ฅใ‚Œใ€ๆ™‚ใ€…ใ‹ใๆททใœใชใŒใ‚‰ใ€ๅบ•ใŒ็„ฆใ’ใชใ„ใ‚ˆใ†ใซใ—ใพใ™ใ€‚

### ๆ‰‹้ †7๏ผšๆๆ–™ใ‚’ๆททใœใ‚‹
ๆๆ–™ใ‚’ๆททใœใ‚‹:
- ็…ฎ่พผใ‚“ใ ใ‚ธใƒฃใ‚ฌใ‚คใƒขใ‚’้‹ใซๆˆปใ—ใ€ใใ“ใซใ‚นใƒ‘ใ‚คใ‚นใ‚’ๅŠ ใˆใŸๆฐดใจๅกฉใ‚’ๅŠ ใˆใ€ๅกฉใ‚’ๅคงใ•ใ˜1/2ๅŠ ใˆใพใ™ใ€‚

### ๆ‰‹้ †8๏ผš็…ฎ่พผใ‚€
็…ฎ่พผใ‚€๏ผš
- ็ซใ‚’ๅผฑใ‚ใ€ใ‹ใๆททใœใชใŒใ‚‰ใ‚†ใฃใใ‚Šใจ็…ฎ่พผใฟใพใ™ใ€‚
- ็ด„10ๅˆ†้–“ใ€ๆ™‚ใ€…ใ‹ใๆททใœใชใŒใ‚‰ใ€ๆฐดๅˆ†ใŒ่ถณใ‚Šใชใใชใ‚‹ใพใง็…ฎ่พผใฟใพใ™ใ€‚
- ๆฐดใฎ้‡ใ‚’ๅคงใ•ใ˜1/2ๆธ›ใ‚‰ใ—ใ€ๆฎ‹ใ‚Šใฎๆฐดใ‚’ๅŠ ใˆใพใ™ใ€‚

### ๆ‰‹้ †9๏ผšๅ‘ณใ‚’่ชฟใˆใ‚‹
ๅ‘ณใ‚’่ชฟใˆใ‚‹๏ผš
- ๅกฉใ€ใƒใ‚ฟใƒผใ€ใ‚ฟใƒผใƒกใƒชใƒƒใ‚ฏใ‚’้‡Ž่œใซๆŒฏใ‚Šใ‹ใ‘ใพใ™ใ€‚
- ใ‚ซใƒฌใƒผใŒๅ‡บๆฅไธŠใŒใฃใŸใ‚‰ใ€ๅฐ้บฆ็ฒ‰ใ‹ใ‚ณใƒผใƒณใ‚นใ‚ฟใƒผใƒใงใจใ‚ใฟใ‚’ใคใ‘ใพใ™ใ€‚

### ๆ‰‹้ †10๏ผš็››ใ‚Šไป˜ใ‘
็››ใ‚Šไป˜ใ‘๏ผš
- ๅฎŒๆˆใ—ใŸใ‚ซใƒฌใƒผใ‚’ใŠ็šฟใซๆณจใŽใ€ใ‚ณใ‚ณใƒŠใƒƒใƒ„ใƒŸใƒซใ‚ฏใ‚’ใ‹ใ‘ใฆๅ‡บๆฅไธŠใŒใ‚Šใพใ™ใ€‚

ใ“ใ‚Œใ‚‰ใฎๆ‰‹้ †ใซๅพ“ใ†ใ“ใจใงใ€็พŽๅ‘ณใ—ใ„่‡ชๅฎถ่ฃฝใ‚คใƒณใƒ‰ใ‚ซใƒฌใƒผใ‚’ไฝœใ‚‹ใ“ใจใŒใงใใพใ™ใ€‚

### ใ‚คใƒณใƒ‰ใ‚ซใƒฌใƒผใฎใƒฌใ‚ทใƒ”ใซ้–ขใ™ใ‚‹ใ‚ˆใใ‚ใ‚‹่ณชๅ•

Q1: ใ‚ซใƒฌใƒผใฎๆๆ–™ใฏไฝ•ใงใ™ใ‹๏ผŸ
A1: ใ‚ซใƒฌใƒผใฎๆๆ–™ใฏใ€้‡Ž่œใ€้ฆ™่พ›ๆ–™ใ€ใ‚นใƒ‘ใ‚คใ‚นใ€ใ‚นใƒ‘ใ‚คใ‚นใ€ๆฐดใ€ๅกฉใ€ใƒใ‚ฟใƒผใ€ๅฐ้บฆ็ฒ‰ใ€ๆฒนใชใฉใงใ™ใ€‚ใปใจใ‚“ใฉใฎใ‚ซใƒฌใƒผใซใฏใ“ใ‚Œใ‚‰ใฎๆๆ–™ใŒไฝฟใ‚ใ‚Œใฆใ„ใพใ™ใ€‚

Q2: ใ‚ซใƒฌใƒผใ‚’ใŠใ„ใ—ใใ™ใ‚‹ๆ–นๆณ•ใฏ๏ผŸ
A2: ใ‚ซใƒฌใƒผใ‚’ใŠใ„ใ—ใใ™ใ‚‹ๆ–นๆณ•ใฏใ€ใ‚นใƒ‘ใ‚คใ‚นใ‚’ใพใ‚“ในใ‚“ใชใไฝฟใ†ไบ‹ใจใ€ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–นใงใ™ใ€‚ไพ‹ใˆใฐใ€ใ‚ฏใƒŸใƒณใ€ใ‚ณใƒชใ‚ขใƒณใƒ€ใƒผใ€ใ‚ฟใƒผใƒกใƒชใƒƒใ‚ฏใ€ใ‚ซใƒซใƒ€ใƒขใƒณใ€ใ‚ฏใƒญใƒผใƒ–ใ€ใƒ•ใ‚งใƒŒใ‚ฐใƒชใƒผใ‚ฏใ€ใƒใƒชใ€ใ‚ฌใƒฉใƒ ใƒžใ‚ตใƒฉใชใฉใŒไธ€่ˆฌ็š„ใซไฝฟใ‚ใ‚Œใฆใ„ใพใ™ใ€‚

Q3: ใชใœใ‚ซใƒฌใƒผใ‚’ไฝœใ‚‹ใฎใงใ™ใ‹๏ผŸ
A3: ใชใœใ‚ซใƒฌใƒผใ‚’ไฝœใ‚‹ใฎใ‹ใจใ„ใ†ใจใ€ใ‚ซใƒฌใƒผใฏ็พŽๅ‘ณใ—ใใฆใ€ๅฅๅบท็š„ใ ใ‹ใ‚‰ใงใ™ใ€‚ใพใŸใ€ๆง˜ใ€…ใชใ‚นใƒ‘ใ‚คใ‚นใ‚„ใƒใƒผใƒ–ใ€่ชฟๅ‘ณๆ–™ใ‚’็ต„ใฟๅˆใ‚ใ›ใ‚‹ใ“ใจใงใ€ๆง˜ใ€…ใช้ขจๅ‘ณใ‚„ๅŠนๆžœใ‚’ๅพ—ใ‚‹ใ“ใจใŒใงใใพใ™ใ€‚

Q4: ใ‚ซใƒฌใƒผใ‚’่’ธใ™ใฎใงใ™ใ‹๏ผŸ
A4: ใ„ใ„ใˆใ€ใ‚ซใƒฌใƒผใ‚’่’ธใ™ใฎใฏไธ€่ˆฌ็š„ใงใฏใ‚ใ‚Šใพใ›ใ‚“ใŒใ€ๅฟ™ใ—ใ„ๆ™‚ใ‚„ใƒ‡ใ‚ถใƒผใƒˆใจใ—ใฆ้ฃŸในใ‚‹ๅ ดๅˆใฏใ€้‡Ž่œใ‚„ใƒ•ใƒซใƒผใƒ„ใ€ใƒŠใƒƒใƒ„ใ‚’่’ธใ—ใฆไฝœใ‚‹ใ“ใจใŒๅ‡บๆฅใพใ™ใ€‚

Q5: ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–นใ‚’ๆ•™ใˆใฆใใ ใ•ใ„ใ€‚
A5: ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–นใ‚’ๆ•™ใˆใฆใใ ใ•ใ„ใ€‚ใ‚นใƒ‘ใ‚คใ‚นใ‚’็†ฑใ—ใฆใ€้ฃŸๆใ‚’้ฉๅˆ‡ใซ่ชฟ็†ใ—ใฆใ€่ชฟ็†ใ—ใŸใ‚นใƒ‘ใ‚คใ‚นใจใ‚นใƒ‘ใ‚คใ‚นใ‚’ๆฐดใ€ๅกฉใ€ใƒใ‚ฟใƒผใ€ๅฐ้บฆ็ฒ‰ใ€ๆฒนใ€ใ‚ฏใƒชใƒผใƒ ใ€ใƒšใƒผใ‚นใƒˆใชใฉใ‚’ๅŠ ใˆใฆ็…ฎ่พผใ‚€ใ ใ‘ใงใ™ใ€‚
==========
Prompt: 8 tokens, 156.478 tokens-per-sec
Generation: 738 tokens, 86.598 tokens-per-sec
Peak memory: 2.741 GB

You can also write your code to use this model like this:

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/plamo-2-1b-bf16")

prompt = "็พŽๅ‘ณใ—ใ„ใ‚ซใƒฌใƒผใฎไฝœใ‚Šๆ–นใฎใƒฌใ‚ทใƒ”ใ‚’็ดนไป‹ใ—ใพใ™ใ€‚"

response = generate(model, tokenizer, prompt=prompt, verbose=True)
Downloads last month
0
Safetensors
Model size
1.29B params
Tensor type
BF16
ยท
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API: The HF Inference API does not support model that require custom code execution.

Model tree for mlx-community/plamo-2-1b-bf16

Base model

pfnet/plamo-2-1b
Finetuned
(2)
this model