| { | |
| "model_type": "bart", | |
| "vectorstore": { | |
| "type": "Chroma", | |
| "persist_directory": "./vectorstore" | |
| }, | |
| "embedding_model": { | |
| "model_name": "thenlper/gte-large" | |
| }, | |
| "retriever": { | |
| "search_type": "mmr", | |
| "search_kwargs": { | |
| "k": 4 | |
| } | |
| }, | |
| "prompt_template": "<s>[INST]\nAnda adalah Asisten AI yang mengikuti instruksi dengan sangat baik.\nHarap jujur dan berikan jawaban langsung. Cukup katakan 'Saya tidak tahu' jika pertanyaan pengguna tidak ada dalam KONTEKS\n[/INST]\nKONTEKS: {context}\n</s>\n[INST]\n{query}\n[/INST]", | |
| "llm": { | |
| "repo_id": "nxvay/unsloth_wikiid", | |
| "task": "text-generation", | |
| "model_kwargs": { | |
| "temperature": 0.1, | |
| "max_new_tokens": 512, | |
| "return_full_text": false, | |
| "top_p": 0.9 | |
| } | |
| } | |
| } |