File size: 515 Bytes
da83140 5e8c110 e2ae0de 5e8c110 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
---
datasets:
- llm-book/wrime-sentiment
language:
- ja
metrics:
- f1
---
- ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking
- データセット：llm-book/wrime-sentiment
- オプティマイザ: adafactor
- Optunaでハイパーパラメータ探索
- 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine
- 学習率(learning rate): 1e-6 ~ 1e-4
- バッチサイズ(per_device_train_batch_size): 16,32,64,128,256
- 正則化(weight_decay): 1e-6 ~ 1e-1 |