ACT-R Adapter for PEFT

📌 概要

summerstars/ACT-R-adapter は、Hugging FaceのSmolLM2-360M-Instructモデルに基づいて、ACT-Rモデルを効率的に微調整（PEFT）するためのアダプターです。このアダプターは、少ないパラメータで大規模言語モデルを適応させることができ、ACT-Rのような認知アーキテクチャに基づく推論を効率的に行えるようにします。

🚀 必要なライブラリ

以下のライブラリが必要です：

pip install transformers peft

🔧 使用方法

1. モデルとアダプターのロード

まず、以下のコードで、summerstars/ACT-R-adapterをロードして、SmolLM2-360M-Instructのモデルを基にしたACT-Rアダプターを適用します。

from peft import PeftModel
from transformers import AutoModelForCausalLM

# ベースモデルのロード
base_model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM2-360M-Instruct")

# ACT-R用アダプターを適用
model = PeftModel.from_pretrained(base_model, "summerstars/ACT-R-adapter")

このコードは、Hugging FaceのSmolLM2-360M-Instructという事前学習済みのモデルをベースとして、summerstars/ACT-R-adapterを使ってPEFTを適用しています。

2. 推論の実行

ACT-Rアダプターを使った推論を行うためには、以下のコードを使用します。

from transformers import pipeline

# パイプラインの設定
actr_pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=base_model.tokenizer  # ベースモデルのトークナイザーを使用
)

# 推論関数の定義
def generate_actr_text(prompt, max_length=200, temperature=0.7, top_p=0.95, top_k=50):
    response = actr_pipeline(prompt, max_length=max_length, temperature=temperature, top_p=top_p, top_k=top_k, do_sample=True)
    return response[0]["generated_text"]

# 例: 推論の実行
actr_prompt = "Analyze the impact of AI on human cognition."
print("【ACT-R Model Output】")
print(generate_actr_text(actr_prompt))

このコードでは、ACT-Rアダプターを使って、指定したプロンプトに基づいてAIの影響を分析するための推論を行います。

⚙️ 設定

アダプターを使用して微調整されたACT-Rモデルの設定は、以下のようにカスタマイズできます：

max_length: 生成するテキストの最大長
temperature: 生成時のランダム性（高い値はランダムで多様な出力を生成）
top_p: トークンの確率分布の上位p%から生成する（Nucleus Sampling）
top_k: 上位k個のトークンから生成する（Top-k Sampling）

🧠 参考文献

Anderson, J. R., & Lebiere, C. (1998). The Atomic Components of Thought: A Propositional Theory of Cognitive Representations. Erlbaum.
PEFT論文: Parameter-Efficient Fine-Tuning by Houlsby et al. (2019)

📜 ライセンス

このプロジェクトは Apache 2.0 ライセンスのもとで公開されています。

summerstars
/

ACT-R-adapter