Update README.md

README.md

@@ -42,9 +42,15 @@ messages = [
     {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}
 ]
 
+terminators = [
+    pipeline.tokenizer.eos_token_id,
+    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
+]
+
 outputs = pipeline(
     messages,
     max_new_tokens=512,
+    eos_token_id=terminators,
     do_sample=True,
     temperature=0.6,
     top_p=0.9,
@@ -78,15 +84,22 @@ model = AutoModelForCausalLM.from_pretrained(
 messages = [
     {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}
 ]
+
 input_ids = tokenizer.apply_chat_template(
     messages,
     add_generation_prompt=True,
     return_tensors="pt"
 ).to(model.device)
 
+terminators = [
+    pipeline.tokenizer.eos_token_id,
+    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")
+]
+
 outputs = model.generate(
     input_ids,
     max_new_tokens=512,
+    eos_token_id=terminators,
     do_sample=False,
 )
 response = outputs[0][input_ids.shape[-1]:]