nezahatkorkmaz commited on
Commit
d0f0a49
·
verified ·
1 Parent(s): 5b721fa

Upload 3 files

Browse files
Files changed (3) hide show
  1. README.md +19 -29
  2. example.py +14 -0
  3. inference.md +9 -0
README.md CHANGED
@@ -1,42 +1,32 @@
1
- ---
2
- license: mit
3
- language:
4
- - tr
5
- - en
6
- base_model:
7
- - microsoft/llava-med-v1.5-mistral-7b
8
- pipeline_tag: question-answering
9
- tags:
10
- - llava
11
- - llava-med
12
- - turkish
13
- - translation
14
- - vqa
15
- - mistral
16
- - image-to-text
17
- - medical
18
- - radiology
19
- - multimodal
20
- - huggingface-space-compatible
21
- ---
22
- # Turkish LLaVA-Med (v1.5, Mistral 7B)
23
 
24
- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/66d27a34d51528a038d1d50c/0vWjZ0SaA0tFHIVIYTE2I.png)
25
 
26
- Türkçe görsel soru-cevap desteği sağlayan bir tıbbi görüntü analizi modeli.
27
- Çeviri katmanı entegre edilmiştir. Soruları Türkçe sorun, yanıtlar da Türkçe gelir 🎯
28
 
29
- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/66d27a34d51528a038d1d50c/3CMHr-_YUArIHsUBBmQfY.png)
 
 
 
30
 
31
- ## Kullanım
32
 
33
  ```python
34
  from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
35
- from PIL import Image
36
  import torch
37
 
38
  model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
39
  tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
40
  image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
 
 
 
 
 
 
 
 
 
41
 
42
- # predict_turkish(image, question) fonksiyonunu Colab veya Python'da kullanabilirsiniz.
 
 
1
+ # 🇹🇷 Turkish LLaVA-Med Pipeline (v1.5 - Mistral 7B)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
 
3
+ Bu model, Microsoft tarafından geliştirilen **LLaVA-Med v1.5 (Mistral 7B)** mimarisini temel alır ve Türkçe dil desteği ile tıbbi görüntüler üzerinden görsel soru-cevaplama (VQA) gerçekleştirmek üzere özelleştirilmiştir.
4
 
5
+ ## 🧠 Özellikler
 
6
 
7
+ - Görüntü tabanlı analiz (X-ray, MR, vb.)
8
+ - Türkçe soru desteği
9
+ - Türkçe cevap üretimi (çeviri katmanlı)
10
+ - Hugging Face üzerinde demo arayüzü desteği (Gradio)
11
 
12
+ ## 🚀 Kullanım
13
 
14
  ```python
15
  from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
 
16
  import torch
17
 
18
  model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
19
  tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
20
  image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
21
+ ```
22
+
23
+ ## 📋 Örnek Soru
24
+
25
+ > Görsel: Akciğer röntgeni
26
+ > Soru: **"Bu görüntüde kalp büyümesi var mı?"**
27
+ > Yanıt: **"Evet, bu görüntüde kardiyomegali (kalp büyümesi) bulguları vardır."**
28
+
29
+ ---
30
 
31
+ **Geliştirici:** [@nezahatkorkmaz](https://huggingface.co/nezahatkorkmaz)
32
+ **Model Orijinali:** `microsoft/llava-med-v1.5-mistral-7b`
example.py ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
2
+ from PIL import Image
3
+ import torch
4
+
5
+ # Modeli yükle
6
+ model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
7
+ tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
8
+ image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
9
+
10
+ # Görsel ve soru
11
+ image = Image.open("ornek_rontgen.jpg").convert("RGB")
12
+ question = "Bu görüntüde bir anormallik var mı?"
13
+
14
+ # predict_turkish() fonksiyonunu app.py'den içeri aktararak kullanabilirsiniz
inference.md ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ # 🧪 Inference (Demo Kullanımı)
2
+
3
+ Demo çalıştırmak için `app.py` dosyasını kullanabilirsiniz. Gradio tabanlı arayüzde:
4
+
5
+ 1. Görüntü yükleyin
6
+ 2. Türkçe soru yazın
7
+ 3. Modelden Türkçe yanıt alın
8
+
9
+ > Not: Görsel veriler tıbbi sır niteliği taşıyabilir. Sadece anonimleştirilmiş örnek görüntüler kullanın.