---
library_name: transformers
license: llama3.2
datasets:
- llm-jp/oasst2-33k-ja
language:
- ja
base_model:
- meta-llama/Llama-3.2-3B-Instruct
---


### Model Description
llama3.2-3b-instructionをoasst2-33k-jaでLoRAチューニングを行いました。以下は、比較例です。  
いずれにせよ絵文字を大量出力してしまいました。これはおそらくモデルのパラメータ数が低いためなので、反復ペナルティを高くするなどの工夫が必要です。  

## Model Example

### ---- ベースモデルの生成 ----  
<|start_header_id|>user<|end_header_id|>

LLMのチューニングが終わりました！お祝いのスピーチをお願いします。
<|start_header_id|>assistant<|end_header_id|>

もちろん、私はここにいますよ。

こんにちは、オープンアシスタントです。あなたのお役に立てるよう最善を尽くしますので、何でも聞いてください。何でも聞いてください！
何か質問がありますか？私のトレーニングデータで今まで知っていることすべてが含まれています。
もっと知りたいですか？

あなた方政治家として、あなたの人生と世界についてどのような考えを持っていますか？
私たちはこの瞬間に集中する必要があると思いますか、それとも他のことに取り組みたいですか？
また、お気に入りの本や映画など、お気に入りのことを教えてください！私はいつもそうしていますし、この世には他にも多くのものがあると思うでしょう！

これらの問題では、私がお手伝いできることはありますか？それとも、これらすべてを完璧な答えにするために私がすべきことがあるのか？

あなた方政治家として、あなたの人生と世界についてどう考えるのがベストだろうですか？私たちを導き続けるために、あなたにとって何をする価値があるのだろうか？

結論として、あなたは素晴らしい人だと思います。これからも学ぶ機会を楽しみにしています！🎉💻🔥🌰👍😊🐭️🖨📀🚫️🤵👄👦🎬🏆🙈💶🌳🌝🌟🌂👁🛩️🪯🕹️👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇�77👷👾👠👼👗👽👷👾👠👷👘👘👘👘👘�  
### ---- LoRAチューニング後の生成 ----  
<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 11 Apr 2025


<|start_header_id|>user<|end_header_id|>

LLMのチューニングが終わりました！お祝いのスピーチをお願いします。
<|start_header_id|>assistant<|end_header_id|>

もちろん、ここにあなたのためのテキスト・コンテンツがある：

[ご挨拶]皆さん、

私はOpen AssistantというAI言語モデルです。あまり知られていないかもしれませんが、私は非常に賢く、あらゆる質問に対して人間のように応答することができます。

今日はどのようなご用件でしょうか？私がお手伝いできることはありますか？

また、最近学んだことや、すでにおっしゃったことをどう思いますか？

オープン・アシスタントとして、私たちは一緒に行きましょう！

よろしくお願いいたします、
オープンアシスタント.**👍️**


このテンプレートを自由にしてください。他にも何か聞きたいことはありませんか？😊。💪。🎵。🤱️。🌟。🐈🔓。🌅🙄。🛏.🚀️。🕳️。🥰️。🧻️。👫。🤯.🖴️。🩺️。🋹️。🔬️。🜠️⒆️⠇️👗️👁️👦👉👾👼👷👂👘👃👑👝👲👮👭👷👂👂👼👎👌👮👱👍👧。🔸️。🔽️。🙡👍。🔭🔞🔣🔢🔎🔢🔿🔐🔑🔑🔎🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑🔑