Update README.md

README.md

@@ -1,9 +1,80 @@
----
-library_name: peft
----
-## Training procedure
+# Model
+NOT production-ready. 
+Based on DictaLM2.0; fine-tuned for text summarization.
 
-### Framework versions
+Known Issues:
+- The model is bloated (disk size).
+- While the results look pretty good, the model was not evaluated.
 
 
-- PEFT 0.4.0
+# Data:
+https://github.com/IAHLT/summarization_he
+
+
+```# !pip install bitsandbytes>=0.41.3 to quantize
+import torch
+from transformers import (
+    AutoModelForCausalLM,
+    AutoTokenizer,
+    BitsAndBytesConfig
+)
+
+
+def predict_text(text, tokenizer, model, num_beams=4, temperature=1, max_new_tokens=512):
+    inputs = tokenizer(f'{text}\n### סיכום:', return_tensors="pt")
+    in_data = inputs.input_ids.to('cuda')
+    output_ids = model.generate(input_ids=in_data, num_beams=num_beams, max_new_tokens = max_new_tokens, do_sample=True, early_stopping=True, use_cache = True, temperature=temperature, eos_token_id=tokenizer.eos_token_id)
+    generated_text = tokenizer.decode(output_ids[0], skip_special_tokens=False)
+    
+    return generated_text
+    
+
+# optional
+use_4bit = True
+bnb_4bit_compute_dtype = "float16"
+bnb_4bit_quant_type = "nf4"
+use_nested_quant = False
+compute_dtype = getattr(torch, bnb_4bit_compute_dtype)
+
+
+# optional
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=use_4bit,
+    bnb_4bit_quant_type=bnb_4bit_quant_type,
+    bnb_4bit_compute_dtype=compute_dtype,
+    bnb_4bit_use_double_quant=use_nested_quant,
+)
+
+model_path = 'maayanorner/hebrew-summarization-llm'
+
+model = AutoModelForCausalLM.from_pretrained(
+    model_path,
+    trust_remote_code=True,
+    quantization_config=bnb_config # optional
+)
+model.to('cuda')
+tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
+
+text = '...'
+
+predict_text(text, max_new_tokens=512, tokenizer=tokenizer, model=model)
+```
+
+# Short Example:
+### Random Linkedin Post (out-of-distribution):
+
+אחרי שלוש שנים מאתגרות ומרגשות, אני גאה לשתף שסיימתי תואר ראשון במדעי המחשב! 🎓
+
+תודה גדולה למכללה האקדמית תל אביב-יפו על הידע והכלים, למרצים הנפלאים, למשפחה ולחברים שתמכו ועזרו לי להגיע לגבהים חדשים (תרתי משמע – ראו תמונה 😉).
+
+במהלך הלימודים והפרויקטים השונים שביצעתי צברתי ידע וניסיון בכלים וטכנולוגיות מגוונים:
+• שפות תכנות: C, C++, C#, Python, JavaScript, TypeScript
+• כלים וסביבות עבודה: Docker, Jenkins, SQL, Gatling, Selenium
+• תכנות מערכות משובצות (Embedded): Arduino, Raspberry Pi
+
+כעת אני מחפש את ההזדמנות שלי להשתלב בתעשייה, עם עדיפות לתפקידי פיתוח Full-Stack/Back-End אך פתוח גם להצעות נוספות!
+
+אני מגיע עם תשוקה לטכנולוגיה, מוטיבציה גבוהה וחשיבה יצירתית. אז אם אתם מכירים חברה שמחפשת מפתח צעיר ונלהב, אשמח לשלוח קורות חיים. ואם לא - גם לייק או שיתוף יעזרו לי מאוד! 😊
+
+### Summary:
+הפוסט מתאר את סיום לימודיו של הכותב לתואר ראשון במדעי המחשב במכללה האקדמית תל אביב-יפו. במהלך הלימודים צבר הכותב ידע וניסיון בכלים וטכנולוגיות מגוונות, כגון שפות תכנות, כלים וסביבות עבודה, ותכנות מערכות משובצות. כעת הוא מחפש עבודה בתחום הפיתוח.