metadata
license: cc-by-nc-4.0
language:
- ja
tags:
- rwkv
- alpaca-jp
RWKV 7B を LoRA + Alpaca_jp データセットで finetune したものです.
RWKV-4-Pile-7B-20221115-8047.pth をベースにしています. epoch は 100 (3090 x 2 でおよそ 4 日)になります.
finetune 部分だけなので, 別途 RWKV-4-Pile-7B-20221115-8047.pth https://huggingface.co/BlinkDL/rwkv-4-pile-7b/blob/main/RWKV-4-Pile-7B-20221115-8047.pth を取得して利用ください.
詳細は
https://zenn.dev/articles/4ef48b859e9433
を参照ください.
ライセンス
alpaca, およびそれを日本語翻訳した alpaca-jp のデータセット https://github.com/shi3z/alpaca_ja が cc-by-nc 4.0 のため, 本ファインチューンした差分も cc-by-nc 4.0 でライセンスします. 調査や評価用に利用ください.