Update README.md
Browse files
README.md
CHANGED
|
@@ -59,6 +59,7 @@ peft_config = LoraConfig(
|
|
| 59 |
target_modules=['up_proj', 'down_proj', 'gate_proj', 'k_proj', 'q_proj', 'v_proj', 'o_proj']
|
| 60 |
)
|
| 61 |
|
|
|
|
| 62 |
orpo_args = ORPOConfig(
|
| 63 |
run_name=new_model,
|
| 64 |
learning_rate=2e-5,
|
|
|
|
| 59 |
target_modules=['up_proj', 'down_proj', 'gate_proj', 'k_proj', 'q_proj', 'v_proj', 'o_proj']
|
| 60 |
)
|
| 61 |
|
| 62 |
+
# Training config
|
| 63 |
orpo_args = ORPOConfig(
|
| 64 |
run_name=new_model,
|
| 65 |
learning_rate=2e-5,
|