transformers pytorch gpt_neox text-generation ja lm nlp dataset:kunishou/databricks-dolly-15k-ja dataset:kunishou/hh-rlhf-49k-ja dataset:Jumtra/oasst1_ja dataset:Jumtra/jglue_jnli dataset:Jumtra/jglue_jsquad dataset:Jumtra/jglue_jsquads_with_input license:mit autotrain_compatible text-generation-inference region:us
---
datasets:
- kunishou/databricks-dolly-15k-ja
- kunishou/hh-rlhf-49k-ja
- Jumtra/oasst1_ja
- Jumtra/jglue_jnli
- Jumtra/jglue_jsquad
- Jumtra/jglue_jsquads_with_input
language:
- ja
license: mit
tags:
- ja
- gpt_neox
- text-generation
- lm
- nlp
inference: false
---

# rinna-3.6b

このモデルは、MosaicMLのllm-foundryリポジトリを使用して[Jumtra/rinna-3.6b-tune-ep5](https://huggingface.co/Jumtra/rinna-3.6b-tune-ep5)をファインチューニングしたモデルです。

## Model Date

June 28, 2023

## Model License

MIT


## 評価

[Jumtra/test_data_100QA](https://huggingface.co/datasets/Jumtra/test_data_100QA)を用いてモデルの正答率を評価した
また、学習時のvalidateデータに対してのPerplexityを記載した。

|  model name  |  正答率  | Perplexity |
| ---- | ---- | ---- |
|  [Jumtra/rinna-3.6b-tune-ep5](https://huggingface.co/Jumtra/rinna-3.6b-tune-ep5)|  40/100  | 8.105 |
|  [Jumtra/rinna-v1-tune-ep1](https://huggingface.co/Jumtra/rinna-v1-tune-ep1) |  42/100  | 7.458 |
|  [Jumtra/rinna-v1-tune-ep3](https://huggingface.co/Jumtra/rinna-v1-tune-ep3) |  41/100  | 7.034 |
|  [Jumtra/calm-7b-tune-ep4](https://huggingface.co/Jumtra/calm-7b-tune-ep4) |  40/100  | 9.766 |
|  [Jumtra/calm-v3-ep1](https://huggingface.co/Jumtra/calm-v3-ep1) |  35/100  | 9.305 |
|  [Jumtra/calm-v3-ep3](https://huggingface.co/Jumtra/calm-v3-ep3) |  37/100  | 13.276 |

以下のプロンプトを用いた
```python
INSTRUCTION_KEY = "### 入力:"
RESPONSE_KEY = "### 回答:"
INTRO_BLURB = "以下はタスクを説明する指示と文脈のある文章が含まれた入力です。要求を適切に満たす回答を生成しなさい。"
JP_PROMPT_FOR_GENERATION_FORMAT = """{intro}
{instruction_key}
{instruction}
{response_key}
""".format(
    intro=INTRO_BLURB,
    instruction_key=INSTRUCTION_KEY,
    instruction="{instruction}",
    response_key=RESPONSE_KEY,
)
```