PLaMo community license to download PLaMo 2 8B
To download PLaMo 2 8B, you have to agree to our license. PLaMo 2 8B is released PLaMo community license. For non-commerical use, please contact us via this form.
(English version is under construction. We apologize for the inconvenience.)
PLaMoコミュニティライセンス契約
PLaMoコミュニティライセンス契約には、株式会社Preferred Networksが提供する別途定める大規模言語基盤モデルPLaMo及びその派生物を利用するためのライセンスの内容及びユーザーが遵守する事項等が定められている。ユーザーのPLaMo及びその派生物の利用には本契約が適用され、本契約に同意又は本モデル等を利用することにより、ユーザーは本契約に拘束される。
第1条（定義）
(1) 「本契約」とは、PLaMoコミュニティライセンス契約を意味する。
(2) 「PFN」とは、株式会社Preferred Networksを意味する。
(3) 「本モデル」とは、別途定める「PLaMo」という名称のモデルの重み、モデルコード、トークナイザー、学習スクリプト及びこれらに付随してPFNが提供するものを意味する。
(4) 「ユーザー」とは、本モデルを利用する個人又は法人を意味する。
(5) 「派生モデル」とは、本モデルを改変又は利用し作成されるモデルの重み、モデルコード及びその他作成されたモデルの付随物を意味する。
(6) 「生成物」とは、本モデル又は派生モデルの出力結果を意味する。
(7) 「本モデル等」とは、本モデル、派生モデル及び生成物の総称を意味する。
(8) 「本ライセンス」とは、PFNがユーザーに対して本契約に基づき本モデル等を利用することを許諾することを意味する。
(9) 「商業目的」とは、 私的使用又は学術用途の範囲を超える、事業での利用又は営利を目的とする利用を意味する。なお、商業目的にはユーザーの製品、サービス又は事業の開発、変更又は提供（ホスティングサービスやAPI経由での提供を含む。）を目的とした使用及びユーザーの組織内部における利用も含まれる。
第2条（ユーザー）
ユーザーは、18歳以上又はその居住国で単独で契約を締結できる年齢に達していなければならない。但し、ユーザーの親権者又は法定代理人が本契約をユーザーが締結することに同意している場合はこの限りではない。
第3条（本ライセンス）
(1) PFNは、ユーザーが本契約に同意しかつ本契約を遵守することを条件に、ユーザーに対して、本モデル等を本契約に定める条件及び範囲内で利用することを許諾する。
(2) 本ライセンスは非独占、世界的、譲渡不可及びロイヤリティ無料とする。
(3) ユーザーは、以下の条件をいずれも満たす場合に限り、商業目的を含む形で本モデル等を利用することができる。なお、ユーザーがこれらの条件のいずれかを満たさなくなった場合は、ユーザーはその時点で本モデル等を商業目的で利用することはできず、商業目的で本モデル等を利用したい場合は、新たにPFNから商業用のライセンスを取得しなければならない。
(i) PFNの公式登録ページ https://forms.gle/mTL8tBLrMYXKNZD56 に事前に登録すること。
(ii) ユーザー又はその関係会社の直近事業年度の収入又は売上が10億円（ユーザーの現地通貨換算額）を超えないこと。
第4条（再配布及び表示義務）
(1) ユーザーが本モデル等（派生モデルやその生成物を含む）を第三者に提供する場合、以下の条件を満たさなければならない。
(i) 本契約のコピーを提供し、本契約の条件を遵守させること。
(ii) 「Built with PLaMo」と明示し、関連ウェブサイト、ユーザーインターフェース、ブログ記事、製品情報ページ又は製品ドキュメントに記載すること。
(iii) 本モデル等を利用して作成した AI モデルの名称に「PLaMo」を含めること。
第5条（生成物の利用）
(1) ユーザーは、生成物を本モデル又は派生モデルの生成物であることを明示することを条件に、公表することができる。
(2) 生成物を利用してモデルを学習した場合、そのモデルは派生モデルとして本契約の条件が適用され、本契約のライセンス条件の下でのみ利用、配布及び商業化することができる。
第6条（その他利用条件）
ユーザーは、本モデル等の利用に関して、以下に定める行為をしてはならない。
(1) 法令又は公序良俗に違反する行為
(2) 犯罪行為又はこれを予告、関与、助長その他これらに関連する行為
(3) PFN又は第三者の権利又は利益を侵害する行為
(4) PFN又は第三者の名誉若しくは信用を毀損する行為
(5) 生成物がPFNの公式見解等であるものという錯誤を生む情報を流布する行為
(6) 虚偽の情報を発信する行為
(7) 上記の他、PFNが不適切と合理的に判断する行為
第7条（保証の否認）
(1) 本モデル及び生成物は、「現状有姿」で提供され、PFNは、これらに対して、正確性、真実性、商品性、品質、性能、特定目的への適合性、権利の非侵害など一切の保証をしない。
(2) ユーザーは、法律、医療、金融又は人物評価その他重要な事項の決定に関して、生成物を唯一の証拠、評価又は意見として使用してはならない。
(3) ユーザーは、本モデル等の使用及びその結果に関して全ての責任を負う。
第8条（責任の制限）
(1) 契約責任、不法行為又は製造物責任その他の法的責任のいずれかであるかを問わず、PFNが本契約及び本モデル等に関してユーザーに対して負う損害賠償の責任は、通常かつ直接の損害に限り（逸失利益、特別損害、間接損害その他の損害については、その予見可能性の有無に関わらず、責任を負わない。）、損害賠償額の上限は、500円とする。但し、PFNに故意又は重過失が認められる場合はこの限りではない。
(2) 前項に関わらず、ユーザーが本モデル等を事業のために利用する場合は、PFNは本契約及び本モデル等に関してユーザーに対して一切の損害賠償責任及びその他の責任を負わない。
第9条（ユーザーの責任）
(1) ユーザーは、本モデル等の取得及び利用に関して、適用される法令（輸出入及び貿易に関連する法令を含む。）及び本契約を遵守する。
(2) ユーザーは、本契約違反又は本モデル等の使用によって、PFNに損害を与えた場合は、その損害を賠償する。
(3) ユーザーの本モデル等の使用に起因して、PFNが第三者から損害賠償請求その他請求を受けた場合、ユーザーは、当該請求からPFNを免責し、PFNに損害を与えないようにする。
第10条（権利の帰属）
(1) 本モデルの一切の権利は、PFN又はPFNに本モデルのライセンスをしている第三者に帰属する。
(2) 派生モデルのうち、ユーザーが本モデルを改変した部分の権利はユーザーに帰属し、その他の部分の権利はPFNに帰属する。
(3) 生成物の一切の権利はユーザーに帰属する。
第11条（契約期間及び終了）
(1) 本契約は、ユーザーが本契約に同意したとき又は本モデルにアクセスしたときから、本契約が解約されたときまでとする。
(2) ユーザーが本契約のいずれかの条項に違反した場合、PFNは直ちに本契約を解除することができ、ユーザーは本モデル等のすべてのコピーを削除し、利用を即時に停止しなければならない。
第12条（契約の変更）
PFNは、本契約（本モデル等に関するルールや諸規定等を含む。以下本条において同じ。）を変更できるものとする。PFNは、本契約を変更する場合には、変更の内容及び変更の効力発生時期を、当該効力発生時期までにPFN所定の方法で告知するものとする。
第13条（準拠法及び管轄裁判所）
(1) 本契約の準拠法は日本法とする。
(2) 本モデル等及び本契約に起因する紛争については、東京地方裁判所が専属的合意管轄裁判所とする。
Log in or Sign Up to review the conditions and access this model content.
PLaMo 2 8B
Model Description
PLaMo 2 8B is a 8B model pre-trained on English and Japanese datasets, developed by Preferred Elements, Inc.
PLaMo 2 models adapt the Samba architecture rather than the Transformer architecture. Samba integrates Mamba, a selective State Space Model (SSM), with sliding window attention, combining their strengths for improved efficiency and performance.
PLaMo 2 8B is released under PLaMo community license. Please check the following license and agree to this before downloading.
- (EN) under construction: we apologize for the inconvenience
- (JA) https://www.preferred.jp/ja/plamo-community-license/
NOTE: This model has NOT been instruction-tuned for chat dialog or other downstream tasks.
For commercial users
Please check the PLaMo community license and contact us via the following form to use commercial purpose.
Usage
Requirements
numpy>=1.26.4
numba>=0.60.0
torch>=2.4.1
transformers>=4.44.2
mamba_ssm>=2.2.2
causal_conv1d>=1.4.0
Use a pipeline as a high-level helper
import transformers
pipeline = transformers.pipeline("text-generation", model="pfnet/plamo-2-8b", trust_remote_code=True)
print(pipeline("The future of artificial intelligence technology is ", max_new_tokens=32))
Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-2-8b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("pfnet/plamo-2-8b", trust_remote_code=True)
text = "これからの人工知能技術は"
input_ids = tokenizer(text, return_tensors="pt").input_ids
generated_tokens = model.generate(
inputs=input_ids,
max_new_tokens=32,
do_sample=True,
top_k=50,
top_p=0.95,
temperature=1.0,
)[0]
generated_text = tokenizer.decode(generated_tokens)
print(generated_text)
Model Details
- Model size: 8B
- Trained tokens: 6T tokens
- Developed by: Preferred Elements, Inc.
- Model type: Causal decoder-only
- Language(s): English, Japanese
- License: PLaMo community license
Training Dataset
We trained PLaMo 2 8B in two phases, phase 1 with 5.25T tokens and phase 2 with 0.75T tokens. The percentage of datasets in each phase is shown in the following table.
| 5.25T (phase 1) | 0.75T (phase 2) | Tokens | |
|---|---|---|---|
| English | 45 % | 35 % | 2.625 T |
| Japanese | 30 % | 40 % | 1.875 T |
| Coding | 15 % | 15 % | 0.9 T |
| Other | 10 % | 10 % | 0.6 T |
Tokenizer
PLaMo 2 8B tokenizer is optimized by numba, which is JIT compiler for numerical functions. The tokenizer is trained on a subset of the datasets for model pre-training.
Tech Blog
- (JA) https://tech.preferred.jp/ja/blog/plamo-2/
- (JA) https://tech.preferred.jp/ja/blog/plamo-2-8b/
- (JA) https://tech.preferred.jp/ja/blog/plamo-2-tokenizer/
Bias, Risks, and Limitations
PLaMo 2 8B is a new technology that carries risks with use. Testing conducted to date has been in English and Japanese, and has not covered, nor could it cover all scenarios. For these reasons, as with all LLMs, PLaMo 2 8B’s potential outputs cannot be predicted in advance, and the model may in some instances produce inaccurate, biased or other objectionable responses to user prompts. Therefore, before deploying any applications of PLaMo 2 8B, developers should perform safety testing and tuning tailored to their specific applications of the model.
Acknowledgement
This model is trained under the project, “Research and Development Project of the Enhanced Infrastructures for Post 5G Information and Communication System” (JPNP 20017), subsidized by the New Energy and Industrial Technology Development Organization (NEDO).
AI policies for Preferred Networks, Inc. group
- Downloads last month
- 198