|
--- |
|
license: apache-2.0 |
|
--- |
|
# RWKV-x060-14B-CoT |
|
|
|
## モデル概要 |
|
|
|
このモデルは、RWKV-x060-14B-JPNをベースに、Chain-of-Thought推論能力の強化を目指してファインチューニングを行ったモデルです。 |
|
|
|
## スペック |
|
|
|
- **アーキテクチャ**: RWKV x060 Finch |
|
- **モデル構造**: 61層 4096次元 |
|
- **パラメータ数**: 14B(140億パラメータ) |
|
- **最大コンテキスト長**: 32k |
|
- **ベースモデル**: RWKV-x060-14B-JPN |
|
|
|
## トレーニング詳細 |
|
|
|
- **手法**: Bone法(Block Affine Transformation)によるPEFTトレーニング |
|
- Block Size: 256 |
|
- モデル形態: アダプターのみ |
|
- **トレーニング特徴**: |
|
- RWKV-LM-RLHFのLoss SmoothingとSFT、BPTTを組み合わせた32kコンテキストトレーニング |
|
- Chain-of-Thought推論強化のための特殊データセット使用 |
|
|
|
## データセット |
|
|
|
- **サイズ**: 100kペア |
|
- **内容**: |
|
- 日本語・英語の混合データ |
|
- 会話 |
|
- プログラミングコード |
|
- 翻訳タスク |
|
- Chain-of-Thought推論タスク |
|
|
|
## 使用方法 |
|
|
|
以下のいずれかの方法で利用可能です： |
|
|
|
1. RWKV-LM-RLHFレポジトリを使用してBoneマージを実行 |
|
2. 最新のRWKV-Inferを使用して動的マージ推論を実行 |
|
3. エンドトークンを'\n\n\x17'としてください。デフォルトの'\n\n'では生成が不安定になります |
|
|
|
## 制限事項・注意点 |
|
|
|
- 実験的なモデルのため、推論の安定性が完全には保証されていません |
|
- 予期せぬ挙動が発生する可能性があります |
|
- 継続的な改善を行っているため、フィードバックを歓迎します |
|
|
|
## ライセンス |
|
|
|
Apache License 2.0 |
|
|
|
## 謝辞 |
|
|
|
このモデルの開発にあたり、RWKV-x060-14B-JPNベースモデル、RWKVコミュニティの支援に感謝いたします。 |
|
|
|
--- |
|
|
|
このモデルに関する質問やフィードバックは、Issues機能をご利用ください。 |
|
この文章はRWKV-x060-14B-CoTで生成しました。 |
