---
license: cc-by-nc-4.0
language:
- ja
tags:
- rwkv
- alpaca-jp
---

RWKV 7B を LoRA + Alpaca_jp データセットで finetune したものです.

RWKV-4-Pile-7B-20221115-8047.pth をベースにしています.
epoch は 100 (3090 x 2 でおよそ 4 日)になります.

finetune 部分だけなので, 別途 RWKV-4-Pile-7B-20221115-8047.pth https://huggingface.co/BlinkDL/rwkv-4-pile-7b/blob/main/RWKV-4-Pile-7B-20221115-8047.pth を取得して利用ください.

詳細は

https://zenn.dev/articles/4ef48b859e9433

を参照ください.


## ライセンス

alpaca, およびそれを日本語翻訳した alpaca-jp のデータセット https://github.com/shi3z/alpaca_ja が cc-by-nc 4.0 のため, 本ファインチューンした差分も cc-by-nc 4.0 でライセンスします.
調査や評価用に利用ください.