Update README.md

README.md

@@ -1,3 +1,61 @@
----
-license: apache-2.0
----
+---
+license: apache-2.0
+---
+# RWKV-x060-14B-CoT
+
+## モデル概要
+
+このモデルは、RWKV-x060-14B-JPNをベースに、Chain-of-Thought推論能力の強化を目指してファインチューニングを行ったモデルです。
+
+## スペック
+
+- **アーキテクチャ**: RWKV x060 Finch
+- **モデル構造**: 61層 4096次元
+- **パラメータ数**: 14B(140億パラメータ)
+- **最大コンテキスト長**: 32k
+- **ベースモデル**: RWKV-x060-14B-JPN
+
+## トレーニング詳細
+
+- **手法**: Bone法(Block Affine Transformation)によるPEFTトレーニング
+  - Block Size: 256
+  - モデル形態: アダプターのみ
+- **トレーニング特徴**:
+  - RWKV-LM-RLHFのLoss SmoothingとSFT、BPTTを組み合わせた32kコンテキストトレーニング
+  - Chain-of-Thought推論強化のための特殊データセット使用
+
+## データセット
+
+- **サイズ**: 100kペア
+- **内容**:
+  - 日本語・英語の混合データ
+  - 会話
+  - プログラミングコード
+  - 翻訳タスク
+  - Chain-of-Thought推論タスク
+
+## 使用方法
+
+以下のいずれかの方法で利用可能です：
+
+1. RWKV-LM-RLHFレポジトリを使用してBoneマージを実行
+2. 最新のRWKV-Inferを使用して動的マージ推論を実行
+
+## 制限事項・注意点
+
+- 実験的なモデルのため、推論の安定性が完全には保証されていません
+- 予期せぬ挙動が発生する可能性があります
+- 継続的な改善を行っているため、フィードバックを歓迎します
+
+## ライセンス
+
+Apache License 2.0
+
+## 謝辞
+
+このモデルの開発にあたり、RWKV-x060-14B-JPNベースモデル、RWKVコミュニティの支援に感謝いたします。
+
+---
+
+このモデルに関する質問やフィードバックは、Issues機能をご利用ください。
+この文章はRWKV-x060-14B-CoTで生成しました。