Mixtral-8x7B-Instruct-v0.1-japanese-alpha-merged

Mixtral-8x7B-Instruct-v0.1-japanese-alpha-mergedはMixtral-8x7B-Instruct-v0.1をベースに日本語の語彙拡張継続事前学習を実施した学習途中のモデルに対して、差分マージを実施したモデルです。
ABEJAのテックブログにて評価を実施した途中結果モデルとして公開しています。
学習を実施したMetagton-LMのレポジトリはこちらです。

使い方

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "abeja/Mixtral-8x7B-Instruct-v0.1-japanese-alpha-merged"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    use_cache=True,
    device_map="auto",
)
model.eval()

input_text = """# system
誠実で紳士的で優秀なAIアシスタントとして、簡潔でわかりやすく役に立つ回答を自信をもって答えなさい。

# question
人とAIが協調するためには？

# answer"""
input_ids = tokenizer.encode(input_text, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        input_ids.to(model.device),
        max_new_tokens=256,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id,
    )
output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True)
print(output)

開発者

• Keisuke Fujimoto
• Kentaro Nakanishi
• Kyo Hattori
• Shinya Otani
• Shogo Muranushi
  (*)アルファベット順