OysterCoreAI/SFT-General-Japanese-60K
Viewer • Updated • 60k • 403 • 1
How to use Mouserat/titlerat with Transformers:
# Use a pipeline as a high-level helper
# Warning: Pipeline type "summarization" is no longer supported in transformers v5.
# You must load the model directly (see below) or downgrade to v4.x with:
# pip install "transformers<5.0.0"
from transformers import pipeline
pipe = pipeline("summarization", model="Mouserat/titlerat") # pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("Mouserat/titlerat")
model = AutoModelForSeq2SeqLM.from_pretrained("Mouserat/titlerat", device_map="auto")日本語・英語の依頼文を読み、その題材と種類を表す短いタイトル(名詞句)を生成するモデルです。チャットの会話に、履歴一覧用の題名を付けることを目的としています。
区切りタグで囲んで入力します。
<user>
{依頼文}
</user>
<assistant>
{応答}
</assistant>
<user>、</user>、<assistant>、</assistant> は追加された特殊トークンです。このリポジトリの tokenizer を使ってください。
データセット本体は未公開です(公開時期は後日)。出典は以下のとおりです(件数は学習データ 37,319 件の内訳)。
タイトルについて: 一部の学習データのタイトルは、Qwen/Qwen3.5-4B(Apache-2.0、配布元のモデルカードによる)を使って生成しました。
model.safetensors: モデルの重み(FP32)tokenizer.json ほか: 特殊トークンを含む tokenizermanifest.json: モデルの情報(重みの SHA-256 を含む)Base model
google/mt5-small