Upload 3 files
Browse files- README.md +19 -29
- example.py +14 -0
- inference.md +9 -0
README.md
CHANGED
@@ -1,42 +1,32 @@
|
|
1 |
-
|
2 |
-
license: mit
|
3 |
-
language:
|
4 |
-
- tr
|
5 |
-
- en
|
6 |
-
base_model:
|
7 |
-
- microsoft/llava-med-v1.5-mistral-7b
|
8 |
-
pipeline_tag: question-answering
|
9 |
-
tags:
|
10 |
-
- llava
|
11 |
-
- llava-med
|
12 |
-
- turkish
|
13 |
-
- translation
|
14 |
-
- vqa
|
15 |
-
- mistral
|
16 |
-
- image-to-text
|
17 |
-
- medical
|
18 |
-
- radiology
|
19 |
-
- multimodal
|
20 |
-
- huggingface-space-compatible
|
21 |
-
---
|
22 |
-
# Turkish LLaVA-Med (v1.5, Mistral 7B)
|
23 |
|
24 |
-
|
25 |
|
26 |
-
|
27 |
-
Çeviri katmanı entegre edilmiştir. Soruları Türkçe sorun, yanıtlar da Türkçe gelir 🎯
|
28 |
|
29 |
-
|
|
|
|
|
|
|
30 |
|
31 |
-
## Kullanım
|
32 |
|
33 |
```python
|
34 |
from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
|
35 |
-
from PIL import Image
|
36 |
import torch
|
37 |
|
38 |
model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
|
39 |
tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
|
40 |
image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
41 |
|
42 |
-
|
|
|
|
1 |
+
# 🇹🇷 Turkish LLaVA-Med Pipeline (v1.5 - Mistral 7B)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
3 |
+
Bu model, Microsoft tarafından geliştirilen **LLaVA-Med v1.5 (Mistral 7B)** mimarisini temel alır ve Türkçe dil desteği ile tıbbi görüntüler üzerinden görsel soru-cevaplama (VQA) gerçekleştirmek üzere özelleştirilmiştir.
|
4 |
|
5 |
+
## 🧠 Özellikler
|
|
|
6 |
|
7 |
+
- Görüntü tabanlı analiz (X-ray, MR, vb.)
|
8 |
+
- Türkçe soru desteği
|
9 |
+
- Türkçe cevap üretimi (çeviri katmanlı)
|
10 |
+
- Hugging Face üzerinde demo arayüzü desteği (Gradio)
|
11 |
|
12 |
+
## 🚀 Kullanım
|
13 |
|
14 |
```python
|
15 |
from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
|
|
|
16 |
import torch
|
17 |
|
18 |
model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
|
19 |
tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
|
20 |
image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
|
21 |
+
```
|
22 |
+
|
23 |
+
## 📋 Örnek Soru
|
24 |
+
|
25 |
+
> Görsel: Akciğer röntgeni
|
26 |
+
> Soru: **"Bu görüntüde kalp büyümesi var mı?"**
|
27 |
+
> Yanıt: **"Evet, bu görüntüde kardiyomegali (kalp büyümesi) bulguları vardır."**
|
28 |
+
|
29 |
+
---
|
30 |
|
31 |
+
**Geliştirici:** [@nezahatkorkmaz](https://huggingface.co/nezahatkorkmaz)
|
32 |
+
**Model Orijinali:** `microsoft/llava-med-v1.5-mistral-7b`
|
example.py
ADDED
@@ -0,0 +1,14 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer, CLIPImageProcessor
|
2 |
+
from PIL import Image
|
3 |
+
import torch
|
4 |
+
|
5 |
+
# Modeli yükle
|
6 |
+
model = AutoModelForCausalLM.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b", torch_dtype=torch.float16).to("cuda")
|
7 |
+
tokenizer = AutoTokenizer.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
|
8 |
+
image_processor = CLIPImageProcessor.from_pretrained("nezahatkorkmaz/turkish-llava-med-pipeline-v1.5-mistral-7b")
|
9 |
+
|
10 |
+
# Görsel ve soru
|
11 |
+
image = Image.open("ornek_rontgen.jpg").convert("RGB")
|
12 |
+
question = "Bu görüntüde bir anormallik var mı?"
|
13 |
+
|
14 |
+
# predict_turkish() fonksiyonunu app.py'den içeri aktararak kullanabilirsiniz
|
inference.md
ADDED
@@ -0,0 +1,9 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
# 🧪 Inference (Demo Kullanımı)
|
2 |
+
|
3 |
+
Demo çalıştırmak için `app.py` dosyasını kullanabilirsiniz. Gradio tabanlı arayüzde:
|
4 |
+
|
5 |
+
1. Görüntü yükleyin
|
6 |
+
2. Türkçe soru yazın
|
7 |
+
3. Modelden Türkçe yanıt alın
|
8 |
+
|
9 |
+
> Not: Görsel veriler tıbbi sır niteliği taşıyabilir. Sadece anonimleştirilmiş örnek görüntüler kullanın.
|