• ベースモデル:cl-tohoku/bert-base-japanese-whole-word-masking
  • データセット:llm-book/wrime-sentiment
  • オプティマイザ: adafactor
  • Optunaでハイパーパラメータ探索
    • 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine
    • 学習率(learning rate): 1e-6 ~ 1e-4
    • バッチサイズ(per_device_train_batch_size): 16,32,64,128,256
    • 正則化(weight_decay): 1e-6 ~ 1e-1
Downloads last month
123
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.

Dataset used to train A-Funakoshi/bert-base-japanese-v3-wrime-v1