Update app.py
Browse files
app.py
CHANGED
@@ -30,13 +30,6 @@ def load_model():
|
|
30 |
|
31 |
# モデルの読み込み(GPU使用時は量子化を使用)
|
32 |
if DEVICE == "cuda":
|
33 |
-
# 量子化設定(メモリ使用量を削減)
|
34 |
-
quantization_config = BitsAndBytesConfig(
|
35 |
-
load_in_4bit=True,
|
36 |
-
bnb_4bit_quant_type="nf4",
|
37 |
-
bnb_4bit_compute_dtype=torch.float16,
|
38 |
-
bnb_4bit_use_double_quant=True,
|
39 |
-
)
|
40 |
|
41 |
model = AutoModelForCausalLM.from_pretrained(
|
42 |
MODEL_NAME,
|
|
|
30 |
|
31 |
# モデルの読み込み(GPU使用時は量子化を使用)
|
32 |
if DEVICE == "cuda":
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
33 |
|
34 |
model = AutoModelForCausalLM.from_pretrained(
|
35 |
MODEL_NAME,
|