r1char9/rubert-base-cased-russian-sentiment

Модель RuBERT которая был fine-tuned на задачу sentiment classification для коротких Russian текстов. Задача представляет собой multi-class classification со следующими метками:

0: neutral
1: positive
2: negative

Usage

from transformers import pipeline
model = pipeline(model="r1char9/rubert-base-cased-russian-sentiment")
model("Привет, ты мне нравишься!")
# [{'label': 'positive', 'score': 0.8220236897468567}]

Dataset

Модель была натренирована на данных:

• Kaggle Russian News Dataset
• Linis Crowd 2015
• Linis Crowd 2016
• RuReviews
• RuSentiment

tokenizer.max_length: 256
batch_size: 32
optimizer: adam
lr: 0.00001
weight_decay: 0
epochs: 2