alfredplpl/SIP-jmed-llm-2-8x13b-OP-instruct-gguf

はじめに

こちらのモデルは戦略的イノベーション創造プログラム（SIP）第 3 期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ１「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」において研究開発されたモデルを使いやすいように量子化などしたモデルです。 使用目的と制限事項をよく読んでから使ってください。

使用目的と制限事項

このモデルは「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」における研究開発プロトタイプとして開発されました。現段階では研究開発目的のみでの使用を想定しており、実際の臨床現場における疾患の診断や臨床意思決定支援として直接利用することは推奨されません。

制限事項

• 本モデルは研究開発段階のプロトタイプであり、実臨床における安全性・有効性の検証は十分に行われていません。
• 開発者は、本プログラムに関し、その正確性、完全性、最新性、および品質など、いかなる保証も行わず、利用者が本プログラムを利用したこと、利用できなかったことにより生じた一切の損害について責任を負いません。
• 医療行為（診断、治療方針の決定、健康への助言など）に直接適用することは推奨されません。あくまで医療専門家による適切な判断の補助となる情報提供ツールとしての利用可能性を探る研究段階にあります。

実行環境の例

臨床データを使うならば、患者のプライバシーを優先してオンプレミス環境にすることをおすすめします。

• NVIDIA A6000x2 (96GB) や RTX PRO 6000 (96GB) でQ8_0を使う
• Mac Studio (96GB) や Macbook Pro (96GB) でQ8_0を使う
• DGX Spark (128GB) でQ8_0を使う
• Ryzen Al Max+ 395 (128GB) でQ8_0を使う

動作テストするだけであれば、以下の組み合わせも考えられます。

• NVIDIA A6000 (48GB) でIQ4_XSを使う
• RTX 5090 (32GB) でIQ2_XSを使う
• RTX 4090 (24GB) でIQ1_Mを使う
• Macbook Air (32GB) でIQ1_Mを使う

使い方

llama.cpp

必ず--jinjaオプションを付けてください。

CUDA_VISIBLE_DEVICES="0" ./build/bin/llama-server -ngl 100 --model /path/to/SIP-jmed-llm-2-8x13b-OP-instruct-Q4_K_M.gguf --jinja

LM Studio

普通に検索してダウンロードすれば使えるようです。

実行例

入力

ある人を血液検査をした結果、ASTは30、ALTは53、ALPは87と出ました。あなたならどんな所見を出しますか？

出力

この血液検査の結果から、肝機能の評価を行います。

AST(GOT)は30で、正常範囲内です。
ALT(GPT)は53で、軽度上昇しています。ALTは肝細胞に特異的に含まれる酵素であり、肝細胞障害で血中に流出します。この値の上昇は、肝細胞の軽度な障害を示唆します。
ALP(アルカリホスファターゼ)は87で、正常範囲内です。ALPは胆管や骨などにも含まれる酵素であり、肝胆道系の障害で上昇します。この値が正常範囲内であることから、肝胆道系に明らかな異常はないことが示唆されます。

総合的に判断すると、ALTの軽度上昇が見られるものの、ASTとALPが正常範囲内であることから、軽度の肝細胞障害が疑われます。ただし、ASTとALPに異常がないことから、肝障害は軽度であり、進行性の肝疾患や重篤な肝障害は否定的です。

なお、ALTの軽度上昇の原因としては、アルコール摂取、薬物、ウイルス性肝炎、非アルコール性脂肪性肝疾患(NAFLD)、自己免疫性肝炎などが考えられます。ただし、この検査結果のみでは原因を特定することはできませんので、臨床症状や他の検査結果と合わせて総合的に判断する必要があります。

その他

精度について

本モデルは量子化しているため、元のモデルよりも精度が低下している可能性があります。 Q8_0ならばほぼ低下していないと考えられます。 IQ4_XSあたりが低下しない限界だと思われます。 できれば、Q8_0を使ってください。