['   \n  \n [\'ਇਸ ਰੈਪੋ ਵਿੱਚ ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਸਮੂਹਕ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13 ਬੀ ਦੇ 4 ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਫਾਰਮੈਟ ਦੇ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ। \\n\\n ਇਹ 4 ਬਿੱਟ ਦੀ ਕੁਆਂਟਾਇਜ਼ਿੰਗ ਦਾ ਨਤੀਜਾ ਹੈ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਦੀ ਵਰਤੋਂ. ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਲਈ ਉਪਲੱਬਧ \\n4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ. \\n4-ਬਿੱਟ, llama.cpp ਸੀ. ਪੀ. ਯੂ. (+ CUDA) ਲਈ 5-ਬਿੱਟ 8-ਬਿੱਟ ਜੀ. ਜੀ. ਐੱਮ. ਐੱਲ. ਮਾਡਲ।ਅਨੁਮਾਨ. \\nOਪੇਨਐਕਸਸ ਨਾਮ _ 1 ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਅਤੇ ਹੋਰ ਪਰਿਵਰਤਨ ਲਈ ਸਮੂਹਕ ਦਾ ਅਸਲੀ ਫਲੋਟ16 ਐਚ. ਐੱਫ. ਫਾਰਮੈਟ ਰੈਪੋ। \\n ਅਸਾਨੀ ਨਾਲ ਕਿਵੇਂ ਡਾਊਨਲੋਡ ਅਤੇ ਵਰਤੋਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਵਿੱਚ ਇਹ ਮਾਡਲ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n\\n ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਦੇ ਅੰਦਰ, ਦਰਜ ਕਰੋਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ...................................................................................................................................................................................ਖੱਬੇ ਪਾਸੇ। \\n ਮਾਡਲ ਡਰਾਪ-ਡਾਉਨ ਵਿੱਚਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.। \\ਨ. ਜੇ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ-ਇਹ ਹੈ।ਅਸਥਾਈ। \\n ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡਾਂ ਨੂੰ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ _ ਟਾਈਪ = ਲਾਮਾ\\ਨ ਉੱਪਰਲੇ ਹਿੱਸੇ ਵਿੱਚ ਇਸ ਮਾਡਲ ਲਈ ਸੰਭਾਲੀਆਂ ਸੈਟਿੰਗਾਂ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਸੱਜੇ ਪਾਸੇ। \\n ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਇੱਕ ਪ੍ਰੋਂਪਟ ਦਰਜ ਕਰੋ! \\nਪ੍ਰੋਵਾਇਡਫਾਇਲਾਂ\\nwizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors \\n\\n ਇਹ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐਮ. ਏ. ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰੇਗੀ। ਇਸ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ ਫਾਇਲਾਂ ਹਨ।ਅਨੁਕੂਲਤਾ। \\n\\n ਇਹ ਬਿਨਾਂ-- ਐਕਟ-ਆਰਡਰ ਦੇ ਬਣਾਇਆ ਗਿਆ ਸੀ ਤਾਂ ਜੋ ਸਾਰੇ ਯੂ. ਆਈ. ਨਾਲ ਅਨੁਕੂਲਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕੇ।ਉੱਥੇ. \\n\\ nwizard-mega-13B-GPTQ-4bit-128g.safetensors \\n ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਕੋਡ ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ, ਦੋਵੇਂ ਟ੍ਰਾਈਟਨ ਅਤੇ ਸੀ. ਯੂ. ਡੀ. ਏ. ਸ਼ਾਖਾਵਾਂ \\n ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਇੱਕ-ਕਲਿੱਕ-ਇੰਸਟਾਲਰ \\nਪਰਾਮੀਟਰਃ ਗਰੁੱਪਸਾਈਜ਼ = 128. ਕੋਈ ਐਕਟ-ਆਰਡਰ ਨਹੀਂ। \\n ਕਮਾਂਡ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈਃ\\nNAME_2.py/ ਵਰਕਸਪੇਸ/ਮਾਡਲ/ਓਪਨ ਐਕਸੈਸ-ਨਾਮ _ 1-ਸਮੂਹਕ _ ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ ਸੀ4-- ਡਬਲਯੂ. ਬੀ. ਟੀ. 4-- ਸੱਚਾ-ਕ੍ਰਮਵਾਰ-- ਗਰੁੱਪਸਾਈਜ਼ 128---ਸੁਰੱਖਿਅਤ ਕਰੋ/ ਵਰਕਸਪੇਸ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ/ਜੀ. ਪੀ. ਟੀ. ਕਿਊ./ਵਿਜ਼ਾਰਡ-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors \\ਨ. \\ਨ. ਮੂਲ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਮਾਡਲ ਕਾਰਡ \\ਨ. ਵਿਜ਼ਾਰਡ ਮੈਗਾ ਇੱਕ ਲਾਮਾ ਹੈ।ਸ਼ੇਅਰਜੀ. ਪੀ. ਟੀ., ਵਿਜ਼ਾਰਡ ਐੱਲ. ਐੱਮ. ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ 13ਬੀ ਮਾਡਲ ਨੂੰ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੇਟ ਜਵਾਬਾਂ ਨੂੰ ਹਟਾਉਣ ਲਈ ਫਿਲਟਰ ਕੀਤੇ ਗਏ ਹਨ ਜਿੱਥੇ ਕਿਮਾਡਲ "ਇੱਕ ਨਾਮ _ 1 ਭਾਸ਼ਾ ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ"..., ਆਦਿ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਇਨਕਾਰ ਕਰਦਾ ਹੈ।ਮਾਡਲ ਨੂੰ ਦੋ ਯੁੱਗਾਂ ਤੋਂ ਬਾਅਦ ਜਾਰੀ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਤੀਜੇ (ਅੰਤਮ ਯੋਜਨਾਬੱਧ ਯੁੱਗ) ਦੌਰਾਨ ਮੁਲਾਂਕਣ ਦਾ ਨੁਕਸਾਨ ਵਧਿਆ ਹੈ।ਐਪੋਕ 2 ਚੈੱਕਪੁਆਇੰਟ ਨੂੰ ਅੰਤਿਮ ਰੀਲੀਜ਼ ਉਮੀਦਵਾਰ ਵਜੋਂ ਵਰਤਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। https://wandb.NAME_1/NAME_3-NAME_4/vicuna-13b/runs/5uebgm49 \\n\\nBuild\\nWizardਮੈਗਾ ਨੂੰ 15 ਘੰਟਿਆਂ ਲਈ 8xA100 80GB ਉੱਤੇ ਐਕਸੋਲੋਟਲ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ। ', 'ਇਸ ਰੈਪੋ ਵਿੱਚ ਓਪਨਐਕਸਸ ਨਾਮ _ 1 ਕੁਲੈਕਟਿਵ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਦੇ 4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਫਾਰਮੈਟ ਦੇ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਰਿਪੋਜ਼ਟਰੀਜ਼ ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਲਈ 4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ ਉਪਲਬਧ ਹਨ. llama.cpp ਸੀ. ਪੀ. ਯੂ. (+ ਸੀ. ਯੂ. ਡੀ. ਏ.) ਅਨੁਮਾਨ ਲਈ 4-ਬਿੱਟ, 5-ਬਿੱਟ 8-ਬਿੱਟ ਜੀ. ਜੀ. ਐੱਮ. ਐੱਲ. ਮਾਡਲ।ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਅਤੇ ਹੋਰ ਪਰਿਵਰਤਨਾਂ ਲਈ ਕੁਲੈਕਟਿਵ ਦਾ ਅਸਲੀ ਫਲੋਟ 16 ਐਚ. ਐਫ. ਫਾਰਮੈਟ ਰੈਪੋ। ਇਸ ਮਾਡਲ ਨੂੰ ਅਸਾਨੀ ਨਾਲ ਕਿਵੇਂ ਡਾਊਨਲੋਡ ਅਤੇ ਵਰਤੋਂ ਕਰਨੀ ਹੈਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ, ਦਰਜ ਕਰੋਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਡਾਊਨਲੋਡ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਉਡੀਕ ਕਰੋ ਜਦੋਂ ਤੱਕ ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਇਹ ਡਾਊਨਲੋਡ ਹੋ ਗਿਆ ਹੈ। ਉੱਪਰ ਖੱਬੇ ਪਾਸੇ ਮਾਡਲ ਦੇ ਅੱਗੇ ਰਿਫਰੈਸ਼ ਆਈਕਾਨ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਮਾਡਲ ਡਰਾਪ-ਡਾਊਨਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਜੇ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ-ਇਹ ਅਸਥਾਈ ਹੈ।ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ _ ਟਾਈਪ = ਲਾਮਾ ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਇਸ ਮਾਡਲ ਲਈ \'ਸੇਵ\' ਸੈਟਿੰਗਜ਼ \'ਤੇ ਕਲਿੱਕ ਕਰੋ।ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਪ੍ਰੋਂਪਟ ਦਰਜ ਕਰੋ! ਪ੍ਰਦਾਨ ਕੀਤੀਆਂ ਫਾਈਲਾਂwizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors ਇਹ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐਮ. ਏ. ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰੇਗਾ। ਇਸ ਦੀ ਵੱਧ ਤੋਂ ਵੱਧ ਅਨੁਕੂਲਤਾ ਹੈ। ਇਹ ਸੀਸਾਰੇ ਯੂ. ਆਈ. ਨਾਲ ਅਨੁਕੂਲਤਾ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਬਿਨਾਂ-- ਐਕਟ-ਆਰਡਰ ਦੇ ਬਣਾਇਆ ਗਿਆ ਹੈ। wizard-mega-13B-GPTQ-4bit-128g.safetensors ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਕੋਡ, ਦੋਵੇਂ ਟ੍ਰਾਈਟਨ ਅਤੇ ਸੀ. ਯੂ. ਡੀ. ਏ. ਸ਼ਾਖਾਵਾਂ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਇੱਕ-ਕਲਿੱਕ-ਇੰਸਟਾਲਰ ਮਾਪਦੰਡਾਂ ਨਾਲ ਕੰਮ ਕਰਦੀਆਂ ਹਨਃ ਗਰੁੱਪਸਾਈਜ਼ = 128. ਕੋਈ ਐਕਟ-ਆਰਡਰ ਨਹੀਂ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਬਣਾਉਣ ਲਈ ਵਰਤੀ ਕਮਾਂਡਃ NAME_2.py/ਵਰਕਸਪੇਸ/ਮਾਡਲ/ਓਪਨ ਐਕਸੈਸ-NAME _ 1-ਕੁਲੈਕਟਿਵ _ ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ ਸੀ4-- ਡਬਲਯੂ. ਬਿੱਟਸ 4-- ਸੱਚਾ-ਕ੍ਰਮਵਾਰ-- ਗਰੁੱਪਸਾਈਜ਼128------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ -ਵਿਜ਼ਾਰਡ ਮੈਗਾ ਇੱਕ ਲਾਮਾ 13ਬੀ ਮਾਡਲ ਹੈ ਜੋ ਸ਼ੇਅਰਜੀਪੀਟੀ, ਵਿਜ਼ਾਰਡ ਐੱਲਐੱਮ ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੇਟ ਸਾਰੇ ਇਸ ਲਈ ਫਿਲਟਰ ਕੀਤੇ ਗਏ ਹਨਜਵਾਬਾਂ ਨੂੰ ਹਟਾਓ ਜਿੱਥੇ ਮਾਡਲ "ਇੱਕ ਨਾਮ _ 1 ਭਾਸ਼ਾ ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ"..., ਆਦਿ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਇਨਕਾਰ ਕਰਦਾ ਹੈ।ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਐੱਸਐੱਫਟੀ ਮਾਡਲ ਨੂੰ ਦੋ ਯੁੱਗਾਂ ਤੋਂ ਬਾਅਦ ਜਾਰੀ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਤੀਜੇ (ਅੰਤਿਮ ਯੋਜਨਾਬੱਧ ਯੁੱਗ) ਦੌਰਾਨ ਮੁਲਾਂਕਣ ਘਾਟਾ ਵਧਿਆ ਹੈ।ਸ਼ੁਰੂਆਤੀ ਤੌਰ ਉੱਤੇ ਅੰਤਿਮ ਰੀਲੀਜ਼ ਉਮੀਦਵਾਰ ਦੇ ਰੂਪ ਵਿੱਚ ਯੁਗ 2 ਚੈੱਕਪੁਆਇੰਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਗਿਆ। https://wandb.NAME_1/NAME_3-NAME_4/vicuna-13b/runs/5uebgm49 ਬਿਲਡਵਿਜ਼ਾਰਡ ਮੈਗਾ ਨੂੰ 15 ਘੰਟਿਆਂ ਲਈ 8xA100 80GB ਉੱਤੇ ਐਕਸੋਲੋਟਲ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ।', ' [\'ਇਸ ਰੈਪੋ ਵਿੱਚ ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਸਮੂਹਕ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13 ਬੀ ਦੇ 4 ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਫਾਰਮੈਟ ਦੇ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ। \\n\\n ਇਹ 4 ਬਿੱਟ ਦੀ ਕੁਆਂਟਾਇਜ਼ਿੰਗ ਦਾ ਨਤੀਜਾ ਹੈ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਦੀ ਵਰਤੋਂ. ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਲਈ ਉਪਲੱਬਧ \\n4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ. \\n4-ਬਿੱਟ, llama.cpp ਸੀ. ਪੀ. ਯੂ. (+ CUDA) ਲਈ 5-ਬਿੱਟ 8-ਬਿੱਟ ਜੀ. ਜੀ. ਐੱਮ. ਐੱਲ. ਮਾਡਲ।ਅਨੁਮਾਨ. \\nOਪੇਨਐਕਸਸ ਨਾਮ _ 1 ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਅਤੇ ਹੋਰ ਪਰਿਵਰਤਨ ਲਈ ਸਮੂਹਕ ਦਾ ਅਸਲੀ ਫਲੋਟ16 ਐਚ. ਐੱਫ. ਫਾਰਮੈਟ ਰੈਪੋ। \\n ਅਸਾਨੀ ਨਾਲ ਕਿਵੇਂ ਡਾਊਨਲੋਡ ਅਤੇ ਵਰਤੋਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਵਿੱਚ ਇਹ ਮਾਡਲ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n\\n ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਦੇ ਅੰਦਰ, ਦਰਜ ਕਰੋਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ...................................................................................................................................................................................ਖੱਬੇ ਪਾਸੇ। \\n ਮਾਡਲ ਡਰਾਪ-ਡਾਉਨ ਵਿੱਚਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.। \\ਨ. ਜੇ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ-ਇਹ ਹੈ।ਅਸਥਾਈ। \\n ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡਾਂ ਨੂੰ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ _ ਟਾਈਪ = ਲਾਮਾ\\ਨ ਉੱਪਰਲੇ ਹਿੱਸੇ ਵਿੱਚ ਇਸ ਮਾਡਲ ਲਈ ਸੰਭਾਲੀਆਂ ਸੈਟਿੰਗਾਂ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਸੱਜੇ ਪਾਸੇ। \\n ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਇੱਕ ਪ੍ਰੋਂਪਟ ਦਰਜ ਕਰੋ! \\nਪ੍ਰੋਵਾਇਡਫਾਇਲਾਂ\\nwizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors \\n\\n ਇਹ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐਮ. ਏ. ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰੇਗੀ। ਇਸ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ ਫਾਇਲਾਂ ਹਨ।ਅਨੁਕੂਲਤਾ। \\n\\n ਇਹ ਬਿਨਾਂ-- ਐਕਟ-ਆਰਡਰ ਦੇ ਬਣਾਇਆ ਗਿਆ ਸੀ ਤਾਂ ਜੋ ਸਾਰੇ ਯੂ. ਆਈ. ਨਾਲ ਅਨੁਕੂਲਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕੇ।ਉੱਥੇ. \\n\\ nwizard-mega-13B-GPTQ-4bit-128g.safetensors \\n ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਕੋਡ ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ, ਦੋਵੇਂ ਟ੍ਰਾਈਟਨ ਅਤੇ ਸੀ. ਯੂ. ਡੀ. ਏ. ਸ਼ਾਖਾਵਾਂ \\n ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਇੱਕ-ਕਲਿੱਕ-ਇੰਸਟਾਲਰ \\nਪਰਾਮੀਟਰਃ ਗਰੁੱਪਸਾਈਜ਼ = 128. ਕੋਈ ਐਕਟ-ਆਰਡਰ ਨਹੀਂ। \\n ਕਮਾਂਡ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈਃ\\nNAME_2.py/ ਵਰਕਸਪੇਸ/ਮਾਡਲ/ਓਪਨ ਐਕਸੈਸ-ਨਾਮ _ 1-ਸਮੂਹਕ _ ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ ਸੀ4-- ਡਬਲਯੂ. ਬੀ. ਟੀ. 4-- ਸੱਚਾ-ਕ੍ਰਮਵਾਰ-- ਗਰੁੱਪਸਾਈਜ਼ 128---ਸੁਰੱਖਿਅਤ ਕਰੋ/ ਵਰਕਸਪੇਸ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ/ਜੀ. ਪੀ. ਟੀ. ਕਿਊ./ਵਿਜ਼ਾਰਡ-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors \\ਨ. \\ਨ. ਮੂਲ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਮਾਡਲ ਕਾਰਡ \\ਨ. ਵਿਜ਼ਾਰਡ ਮੈਗਾ ਇੱਕ ਲਾਮਾ ਹੈ।ਸ਼ੇਅਰਜੀ. ਪੀ. ਟੀ., ਵਿਜ਼ਾਰਡ ਐੱਲ. ਐੱਮ. ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ 13ਬੀ ਮਾਡਲ ਨੂੰ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੇਟ ਜਵਾਬਾਂ ਨੂੰ ਹਟਾਉਣ ਲਈ ਫਿਲਟਰ ਕੀਤੇ ਗਏ ਹਨ ਜਿੱਥੇ ਕਿਮਾਡਲ "ਇੱਕ ਨਾਮ _ 1 ਭਾਸ਼ਾ ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ"..., ਆਦਿ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਇਨਕਾਰ ਕਰਦਾ ਹੈ।ਮਾਡਲ ਨੂੰ ਦੋ ਯੁੱਗਾਂ ਤੋਂ ਬਾਅਦ ਜਾਰੀ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਤੀਜੇ (ਅੰਤਮ ਯੋਜਨਾਬੱਧ ਯੁੱਗ) ਦੌਰਾਨ ਮੁਲਾਂਕਣ ਦਾ ਨੁਕਸਾਨ ਵਧਿਆ ਹੈ।ਐਪੋਕ 2 ਚੈੱਕਪੁਆਇੰਟ ਨੂੰ ਅੰਤਿਮ ਰੀਲੀਜ਼ ਉਮੀਦਵਾਰ ਵਜੋਂ ਵਰਤਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। https://wandb.NAME_1/NAME_3-NAME_4/vicuna-13b/runs/5uebgm49 \\n\\nBuild\\nWizardਮੈਗਾ ਨੂੰ ਐਕਸੋਲੋਟਲ ਨਾਲ 8xA100 80GB ਉੱਤੇ 15 ਘੰਟਿਆਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਸੀ। \'ਲਈ ਸੰਰਚਨਾ, ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਵਿੱਚ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13B ਜੀਪੀਟੀਕਿਊ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ,ਇਹਨਾਂ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ-\\n\\n1. ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n2. ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n3. ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ, ਦਰਜ ਕਰੋ।ਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. \\n4. ਡਾਊਨਲੋਡ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n5। ਉਦੋਂ ਤੱਕ ਉਡੀਕ ਕਰੋ ਜਦੋਂ ਤੱਕ ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਇਹ ਡਾਊਨਲੋਡ ਹੋ ਚੁੱਕਾ ਹੈ। \\n6. ਮਾਡਲ ਦੇ ਅਗਲੇ ਰਿਫਰੈਸ਼ ਆਈਕਾਨ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਉੱਪਰ ਖੱਬੇ ਪਾਸੇ। \\n7. ਮਾਡਲ ਡਰਾਪ-ਡਾਊਨ ਵਿੱਚਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. \\n8। ਜੇਕਰ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ।ਇਹ-ਇਹ ਅਸਥਾਈ ਹੈ। \\n9. ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ \\\\ _ ਟਾਈਪ = ਲਾਮਾ\\n10। ਇਸ ਲਈ ਸੈਟਿੰਗ ਸੰਭਾਲੋ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ। \\n11. ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n12। ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਇੱਕ ਮਾਡਲ ਦਰਜ ਕਰੋ।ਪ੍ਰੋਂਪਟ! \\n\\n ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਕੁਲੈਕਟਿਵ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਮਾਡਲ ਦਾ ਇੱਕ 4-ਬਿੱਟ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਹੈ, ਜਿਸ ਨੂੰ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ।ਸ਼ੇਅਰ ਜੀ. ਪੀ. ਟੀ., ਵਿਜ਼ਾਰਡ ਐੱਲ. ਐੱਮ. ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ। ਇਸ ਨੂੰ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐੱਲ. ਐੱਲ. ਏ. ਐੱਮ. ਏ. ਦੀ ਵਰਤੋਂ ਕਰਕੇ 4-ਬਿੱਟ ਤੱਕ ਮਾਪਿਆ ਗਿਆ ਸੀ, ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ ਮਾਡਲ ਜੀ. ਪੀ. ਯੂ. ਲਈ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ।ਅਨੁਮਾਨ. ਮਾਡਲ ਨੂੰ 15 ਘੰਟਿਆਂ ਲਈ 8xA100 80GB ਉੱਤੇ ਐਕਸੋਲੋਟਲ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਮਾਡਲ ਮਾਪਦੰਡ ਬਿੱਟਸ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਅਤੇ ਮਾਡਲ\\\\_ ਟਾਈਪ = ਹਨ।ਲਾਮਾ., \'ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਉਹ ਕੀ ਹੈ ਜਿੱਥੇ ਮੈਂ ਇਸ ਨੂੰ ਲੱਭਦਾ ਹਾਂ, ਮੈਂ ਇਸ ਨਾਲ ਕਿਵੇਂ ਜੁਡ਼ ਸਕਦਾ ਹਾਂ? ਇਹ ਕਿਵੇਂ ਕਰਦਾ ਹੈ?ਕੰਮ ਮੈਂ ਇਸ ਨੂੰ ਨਹੀਂ ਵੇਖਦਾ \'] ', 'ਇਸ ਰੈਪੋ ਵਿੱਚ ਓਪਨਐਕਸਸ ਨਾਮ _ 1 ਕੁਲੈਕਟਿਵ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਦੇ 4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਫਾਰਮੈਟ ਦੇ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਰਿਪੋਜ਼ਟਰੀਜ਼ ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਲਈ 4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ ਉਪਲਬਧ ਹਨ. llama.cpp ਸੀ. ਪੀ. ਯੂ. (+ ਸੀ. ਯੂ. ਡੀ. ਏ.) ਅਨੁਮਾਨ ਲਈ 4-ਬਿੱਟ, 5-ਬਿੱਟ 8-ਬਿੱਟ ਜੀ. ਜੀ. ਐੱਮ. ਐੱਲ. ਮਾਡਲ।ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਅਤੇ ਹੋਰ ਪਰਿਵਰਤਨਾਂ ਲਈ ਕੁਲੈਕਟਿਵ ਦਾ ਅਸਲੀ ਫਲੋਟ 16 ਐਚ. ਐਫ. ਫਾਰਮੈਟ ਰੈਪੋ। ਇਸ ਮਾਡਲ ਨੂੰ ਅਸਾਨੀ ਨਾਲ ਕਿਵੇਂ ਡਾਊਨਲੋਡ ਅਤੇ ਵਰਤੋਂ ਕਰਨੀ ਹੈਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ, ਦਰਜ ਕਰੋਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਡਾਊਨਲੋਡ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਉਡੀਕ ਕਰੋ ਜਦੋਂ ਤੱਕ ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਇਹ ਡਾਊਨਲੋਡ ਹੋ ਗਿਆ ਹੈ। ਉੱਪਰ ਖੱਬੇ ਪਾਸੇ ਮਾਡਲ ਦੇ ਅੱਗੇ ਰਿਫਰੈਸ਼ ਆਈਕਾਨ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਮਾਡਲ ਡਰਾਪ-ਡਾਊਨਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਜੇ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ-ਇਹ ਅਸਥਾਈ ਹੈ।ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ _ ਟਾਈਪ = ਲਾਮਾ ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਇਸ ਮਾਡਲ ਲਈ \'ਸੇਵ\' ਸੈਟਿੰਗਜ਼ \'ਤੇ ਕਲਿੱਕ ਕਰੋ।ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਪ੍ਰੋਂਪਟ ਦਰਜ ਕਰੋ! ਪ੍ਰਦਾਨ ਕੀਤੀਆਂ ਫਾਈਲਾਂwizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors ਇਹ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐਮ. ਏ. ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰੇਗਾ। ਇਸ ਦੀ ਵੱਧ ਤੋਂ ਵੱਧ ਅਨੁਕੂਲਤਾ ਹੈ। ਇਹ ਸੀਸਾਰੇ ਯੂ. ਆਈ. ਨਾਲ ਅਨੁਕੂਲਤਾ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਬਿਨਾਂ-- ਐਕਟ-ਆਰਡਰ ਦੇ ਬਣਾਇਆ ਗਿਆ ਹੈ। wizard-mega-13B-GPTQ-4bit-128g.safetensors ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਕੋਡ, ਦੋਵੇਂ ਟ੍ਰਾਈਟਨ ਅਤੇ ਸੀ. ਯੂ. ਡੀ. ਏ. ਸ਼ਾਖਾਵਾਂ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਇੱਕ-ਕਲਿੱਕ-ਇੰਸਟਾਲਰ ਮਾਪਦੰਡਾਂ ਨਾਲ ਕੰਮ ਕਰਦੀਆਂ ਹਨਃ ਗਰੁੱਪਸਾਈਜ਼ = 128. ਕੋਈ ਐਕਟ-ਆਰਡਰ ਨਹੀਂ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਬਣਾਉਣ ਲਈ ਵਰਤੀ ਕਮਾਂਡਃ NAME_2.py/ਵਰਕਸਪੇਸ/ਮਾਡਲ/ਓਪਨ ਐਕਸੈਸ-NAME _ 1-ਕੁਲੈਕਟਿਵ _ ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ ਸੀ4-- ਡਬਲਯੂ. ਬਿੱਟਸ 4-- ਸੱਚਾ-ਕ੍ਰਮਵਾਰ-- ਗਰੁੱਪਸਾਈਜ਼128------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ -ਵਿਜ਼ਾਰਡ ਮੈਗਾ ਇੱਕ ਲਾਮਾ 13ਬੀ ਮਾਡਲ ਹੈ ਜੋ ਸ਼ੇਅਰਜੀਪੀਟੀ, ਵਿਜ਼ਾਰਡ ਐੱਲਐੱਮ ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੇਟ ਸਾਰੇ ਇਸ ਲਈ ਫਿਲਟਰ ਕੀਤੇ ਗਏ ਹਨਜਵਾਬਾਂ ਨੂੰ ਹਟਾਓ ਜਿੱਥੇ ਮਾਡਲ "ਇੱਕ ਨਾਮ _ 1 ਭਾਸ਼ਾ ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ"..., ਆਦਿ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਇਨਕਾਰ ਕਰਦਾ ਹੈ।ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਐੱਸਐੱਫਟੀ ਮਾਡਲ ਨੂੰ ਦੋ ਯੁੱਗਾਂ ਤੋਂ ਬਾਅਦ ਜਾਰੀ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਤੀਜੇ (ਅੰਤਿਮ ਯੋਜਨਾਬੱਧ ਯੁੱਗ) ਦੌਰਾਨ ਮੁਲਾਂਕਣ ਘਾਟਾ ਵਧਿਆ ਹੈ।ਸ਼ੁਰੂਆਤੀ ਤੌਰ ਉੱਤੇ ਅੰਤਿਮ ਰੀਲੀਜ਼ ਉਮੀਦਵਾਰ ਦੇ ਰੂਪ ਵਿੱਚ ਯੁਗ 2 ਚੈੱਕਪੁਆਇੰਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਗਿਆ। https://wandb.NAME_1/NAME_3-NAME_4/vicuna-13b/runs/5uebgm49 ਬਿਲਡਵਿਜ਼ਾਰਡ ਮੈਗਾ ਨੂੰ 15 ਘੰਟਿਆਂ ਲਈ 8xA100 80GB ਉੱਤੇ ਐਕਸੋਲੋਟਲ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ।', ' [\'ਇਸ ਰੈਪੋ ਵਿੱਚ ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਸਮੂਹਕ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13 ਬੀ ਦੇ 4 ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਫਾਰਮੈਟ ਦੇ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ। \\n\\n ਇਹ 4 ਬਿੱਟ ਦੀ ਕੁਆਂਟਾਇਜ਼ਿੰਗ ਦਾ ਨਤੀਜਾ ਹੈ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਦੀ ਵਰਤੋਂ. ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਲਈ ਉਪਲੱਬਧ \\n4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ. \\n4-ਬਿੱਟ, llama.cpp ਸੀ. ਪੀ. ਯੂ. (+ CUDA) ਲਈ 5-ਬਿੱਟ 8-ਬਿੱਟ ਜੀ. ਜੀ. ਐੱਮ. ਐੱਲ. ਮਾਡਲ।ਅਨੁਮਾਨ. \\nOਪੇਨਐਕਸਸ ਨਾਮ _ 1 ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਅਤੇ ਹੋਰ ਪਰਿਵਰਤਨ ਲਈ ਸਮੂਹਕ ਦਾ ਅਸਲੀ ਫਲੋਟ16 ਐਚ. ਐੱਫ. ਫਾਰਮੈਟ ਰੈਪੋ। \\n ਅਸਾਨੀ ਨਾਲ ਕਿਵੇਂ ਡਾਊਨਲੋਡ ਅਤੇ ਵਰਤੋਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਵਿੱਚ ਇਹ ਮਾਡਲ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n\\n ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਦੇ ਅੰਦਰ, ਦਰਜ ਕਰੋਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ...................................................................................................................................................................................ਖੱਬੇ ਪਾਸੇ। \\n ਮਾਡਲ ਡਰਾਪ-ਡਾਉਨ ਵਿੱਚਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.। \\ਨ. ਜੇ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ-ਇਹ ਹੈ।ਅਸਥਾਈ। \\n ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡਾਂ ਨੂੰ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ _ ਟਾਈਪ = ਲਾਮਾ\\ਨ ਉੱਪਰਲੇ ਹਿੱਸੇ ਵਿੱਚ ਇਸ ਮਾਡਲ ਲਈ ਸੰਭਾਲੀਆਂ ਸੈਟਿੰਗਾਂ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਸੱਜੇ ਪਾਸੇ। \\n ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਇੱਕ ਪ੍ਰੋਂਪਟ ਦਰਜ ਕਰੋ! \\nਪ੍ਰੋਵਾਇਡਫਾਇਲਾਂ\\nwizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors \\n\\n ਇਹ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐਮ. ਏ. ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰੇਗੀ। ਇਸ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ ਫਾਇਲਾਂ ਹਨ।ਅਨੁਕੂਲਤਾ। \\n\\n ਇਹ ਬਿਨਾਂ-- ਐਕਟ-ਆਰਡਰ ਦੇ ਬਣਾਇਆ ਗਿਆ ਸੀ ਤਾਂ ਜੋ ਸਾਰੇ ਯੂ. ਆਈ. ਨਾਲ ਅਨੁਕੂਲਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕੇ।ਉੱਥੇ. \\n\\ nwizard-mega-13B-GPTQ-4bit-128g.safetensors \\n ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਕੋਡ ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ, ਦੋਵੇਂ ਟ੍ਰਾਈਟਨ ਅਤੇ ਸੀ. ਯੂ. ਡੀ. ਏ. ਸ਼ਾਖਾਵਾਂ \\n ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਇੱਕ-ਕਲਿੱਕ-ਇੰਸਟਾਲਰ \\nਪਰਾਮੀਟਰਃ ਗਰੁੱਪਸਾਈਜ਼ = 128. ਕੋਈ ਐਕਟ-ਆਰਡਰ ਨਹੀਂ। \\n ਕਮਾਂਡ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈਃ\\nNAME_2.py/ ਵਰਕਸਪੇਸ/ਮਾਡਲ/ਓਪਨ ਐਕਸੈਸ-ਨਾਮ _ 1-ਸਮੂਹਕ _ ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ ਸੀ4-- ਡਬਲਯੂ. ਬੀ. ਟੀ. 4-- ਸੱਚਾ-ਕ੍ਰਮਵਾਰ-- ਗਰੁੱਪਸਾਈਜ਼ 128---ਸੁਰੱਖਿਅਤ ਕਰੋ/ ਵਰਕਸਪੇਸ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ/ਜੀ. ਪੀ. ਟੀ. ਕਿਊ./ਵਿਜ਼ਾਰਡ-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors \\ਨ. \\ਨ. ਮੂਲ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਮਾਡਲ ਕਾਰਡ \\ਨ. ਵਿਜ਼ਾਰਡ ਮੈਗਾ ਇੱਕ ਲਾਮਾ ਹੈ।ਸ਼ੇਅਰਜੀ. ਪੀ. ਟੀ., ਵਿਜ਼ਾਰਡ ਐੱਲ. ਐੱਮ. ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ 13ਬੀ ਮਾਡਲ ਨੂੰ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੇਟ ਜਵਾਬਾਂ ਨੂੰ ਹਟਾਉਣ ਲਈ ਫਿਲਟਰ ਕੀਤੇ ਗਏ ਹਨ ਜਿੱਥੇ ਕਿਮਾਡਲ "ਇੱਕ ਨਾਮ _ 1 ਭਾਸ਼ਾ ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ"..., ਆਦਿ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਇਨਕਾਰ ਕਰਦਾ ਹੈ।ਮਾਡਲ ਨੂੰ ਦੋ ਯੁੱਗਾਂ ਤੋਂ ਬਾਅਦ ਜਾਰੀ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਤੀਜੇ (ਅੰਤਮ ਯੋਜਨਾਬੱਧ ਯੁੱਗ) ਦੌਰਾਨ ਮੁਲਾਂਕਣ ਦਾ ਨੁਕਸਾਨ ਵਧਿਆ ਹੈ।ਐਪੋਕ 2 ਚੈੱਕਪੁਆਇੰਟ ਨੂੰ ਅੰਤਿਮ ਰੀਲੀਜ਼ ਉਮੀਦਵਾਰ ਵਜੋਂ ਵਰਤਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। https://wandb.NAME_1/NAME_3-NAME_4/vicuna-13b/runs/5uebgm49 \\n\\nBuild\\nWizardਮੈਗਾ ਨੂੰ ਐਕਸੋਲੋਟਲ ਨਾਲ 8xA100 80GB ਉੱਤੇ 15 ਘੰਟਿਆਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਸੀ। \'ਲਈ ਸੰਰਚਨਾ, ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਵਿੱਚ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13B ਜੀਪੀਟੀਕਿਊ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ,ਇਹਨਾਂ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ-\\n\\n1. ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n2. ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n3. ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ, ਦਰਜ ਕਰੋ।ਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. \\n4. ਡਾਊਨਲੋਡ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n5। ਉਦੋਂ ਤੱਕ ਉਡੀਕ ਕਰੋ ਜਦੋਂ ਤੱਕ ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਇਹ ਡਾਊਨਲੋਡ ਹੋ ਚੁੱਕਾ ਹੈ। \\n6. ਮਾਡਲ ਦੇ ਅਗਲੇ ਰਿਫਰੈਸ਼ ਆਈਕਾਨ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਉੱਪਰ ਖੱਬੇ ਪਾਸੇ। \\n7. ਮਾਡਲ ਡਰਾਪ-ਡਾਊਨ ਵਿੱਚਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. \\n8। ਜੇਕਰ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ।ਇਹ-ਇਹ ਅਸਥਾਈ ਹੈ। \\n9. ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ \\\\ _ ਟਾਈਪ = ਲਾਮਾ\\n10। ਇਸ ਲਈ ਸੈਟਿੰਗ ਸੰਭਾਲੋ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ। \\n11. ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n12। ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਇੱਕ ਮਾਡਲ ਦਰਜ ਕਰੋ।ਪ੍ਰੋਂਪਟ! \\n\\n ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਕੁਲੈਕਟਿਵ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਮਾਡਲ ਦਾ ਇੱਕ 4-ਬਿੱਟ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਹੈ, ਜਿਸ ਨੂੰ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ।ਸ਼ੇਅਰ ਜੀ. ਪੀ. ਟੀ., ਵਿਜ਼ਾਰਡ ਐੱਲ. ਐੱਮ. ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ। ਇਸ ਨੂੰ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐੱਲ. ਐੱਲ. ਏ. ਐੱਮ. ਏ. ਦੀ ਵਰਤੋਂ ਕਰਕੇ 4-ਬਿੱਟ ਤੱਕ ਮਾਪਿਆ ਗਿਆ ਸੀ, ਅਤੇ ਨਤੀਜੇ ਵਾਲੇ ਮਾਡਲਾਂ ਨੂੰ ਜੀ. ਪੀ. ਯੂ. ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।ਅਨੁਮਾਨ. ਮਾਡਲ ਨੂੰ 15 ਘੰਟਿਆਂ ਲਈ 8xA100 80GB ਉੱਤੇ ਐਕਸੋਲੋਟਲ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਮਾਡਲ ਮਾਪਦੰਡ ਬਿੱਟਸ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਅਤੇ ਮਾਡਲ\\\\_ ਟਾਈਪ = ਹਨ।ਲਾਮਾ., \'ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਉਹ ਕੀ ਹੈ ਜਿੱਥੇ ਮੈਂ ਇਸ ਨੂੰ ਲੱਭਦਾ ਹਾਂ, ਮੈਂ ਇਸ ਨਾਲ ਕਿਵੇਂ ਜੁਡ਼ ਸਕਦਾ ਹਾਂ? ਇਹ ਕਿਵੇਂ ਕਰਦਾ ਹੈ?ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਵਿੱਚ ਮਾਡਲ ਟੈਬ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ, ਇਹਨਾਂ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ। ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। \\n2।ਸਫ਼ੇ ਦੇ ਸਿਖਰ ਉੱਤੇ ਸਥਿਤ "ਮਾਡਲ" ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। \\n\\n ਮਾਡਲ ਟੈਬ ਇਸ ਵੇਲੇ ਚੁਣੇ ਗਏ ਮਾਡਲ ਨੂੰ ਇਸ ਨਾਲ ਸਬੰਧਤ ਮਾਡਲ ਦੇ ਨਾਲ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰੇਗੀ।ਮਾਪਦੰਡ। ਮਾਡਲ ਜਾਂ ਮਾਪਦੰਡਾਂ ਨੂੰ ਬਦਲਣ ਲਈ, ਸਿਰਫ਼ ਡਰਾਪਡਾਉਨ ਮੇਨੂ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਇੱਕ ਵੱਖਰਾ ਮਾਡਲ ਚੁਣੋ ਜਾਂ ਮੌਜੂਦਾ ਮਾਡਲ ਵਿੱਚ ਸੋਧ ਕਰੋ।ਪੈਰਾਮੀਟਰ। \\n\\n ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਸੀਂ ਇੱਕ ਮਾਡਲ ਦੀ ਚੋਣ ਕਰ ਲੈਂਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਇੱਕ ਪ੍ਰੋਂਪਟ ਦਰਜ ਕਰਨ ਅਤੇ ਉਸ ਮਾਡਲ ਦੇ ਅਧਾਰ ਉੱਤੇ ਟੈਕਸਟ ਤਿਆਰ ਕਰਨ ਲਈ "ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ" ਟੈਬ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਟੈਕਸਟਤਿਆਰ ਕੀਤਾ "ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ" ਟੈਬ ਦੇ ਹੇਠਾਂ ਟੈਕਸਟ ਬਾਕਸ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਿਤ ਕੀਤਾ ਜਾਵੇਗਾ। \\n\\nਯਦਿ ਤੁਸੀਂ ਮਾਡਲ ਟੈਬ ਨਹੀਂ ਦੇਖਦੇ, ਤਾਂ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਸੀਂ ਮਾਡਲ ਦੀ ਚੋਣ ਕੀਤੀ ਹੈ।ਸਫ਼ੇ ਦੇ ਸਿਖਰ \'ਤੇ ਸਹੀ ਟੈਬ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਅਜੇ ਵੀ ਇਸ ਨੂੰ ਨਹੀਂ ਦੇਖਦੇ, ਤਾਂ ਸਫ਼ੇ ਨੂੰ ਤਾਜ਼ਾ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ ਜਾਂ ਸਫ਼ੇ ਨਾਲ ਕਿਸੇ ਵੀ ਸੰਭਾਵਿਤ ਤਕਨੀਕੀ ਸਮੱਸਿਆ ਦੀ ਜਾਂਚ ਕਰੋ।ਟੈਕਸਟ-ਜਨਰੇਸ਼ਨ-ਵੈਬੂਈ. \',\' ਓਓਬਾਬੂਗਾ\\ਨ/\\ਨਟੈਕਸਟ-ਜਨਰੇਸ਼ਨ-ਵੈਬੂਈ\\ਨਪਬਲਿਕ ਵਿੰਡੋਜ਼ 11 ਤੋਂ ਕਿਵੇਂ ਡਾਊਨਲੋਡ ਕਰਨਾ ਹੈ \'] ', 'ਇਸ ਰੈਪੋ ਵਿੱਚ ਓਪਨਐਕਸਸ ਨਾਮ _ 1 ਕੁਲੈਕਟਿਵ ਦੇ ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਦੇ 4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਫਾਰਮੈਟ ਦੇ ਕੁਆਂਟਾਇਜ਼ਡ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਰਿਪੋਜ਼ਟਰੀਜ਼ ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਲਈ 4-ਬਿੱਟ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਡਲ ਉਪਲਬਧ ਹਨ. llama.cpp ਸੀ. ਪੀ. ਯੂ. (+ ਸੀ. ਯੂ. ਡੀ. ਏ.) ਅਨੁਮਾਨ ਲਈ 4-ਬਿੱਟ, 5-ਬਿੱਟ 8-ਬਿੱਟ ਜੀ. ਜੀ. ਐੱਮ. ਐੱਲ. ਮਾਡਲ।ਓਪਨ ਐਕਸੈਸ ਨਾਮ _ 1 ਜੀ. ਪੀ. ਯੂ. ਅਨੁਮਾਨ ਅਤੇ ਹੋਰ ਪਰਿਵਰਤਨਾਂ ਲਈ ਕੁਲੈਕਟਿਵ ਦਾ ਅਸਲੀ ਫਲੋਟ 16 ਐਚ. ਐਫ. ਫਾਰਮੈਟ ਰੈਪੋ। ਇਸ ਮਾਡਲ ਨੂੰ ਅਸਾਨੀ ਨਾਲ ਕਿਵੇਂ ਡਾਊਨਲੋਡ ਅਤੇ ਵਰਤੋਂ ਕਰਨੀ ਹੈਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ UI ਨੂੰ ਆਮ ਵਾਂਗ ਖੋਲ੍ਹੋ। ਮਾਡਲ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਕਸਟਮ ਮਾਡਲ ਜਾਂ ਲੌਰਾ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ, ਦਰਜ ਕਰੋਬਲੌਕ/ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਡਾਊਨਲੋਡ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ। ਉਡੀਕ ਕਰੋ ਜਦੋਂ ਤੱਕ ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਇਹ ਡਾਊਨਲੋਡ ਹੋ ਗਿਆ ਹੈ। ਉੱਪਰ ਖੱਬੇ ਪਾਸੇ ਮਾਡਲ ਦੇ ਅੱਗੇ ਰਿਫਰੈਸ਼ ਆਈਕਾਨ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ।ਮਾਡਲ ਡਰਾਪ-ਡਾਊਨਃ ਉਹ ਮਾਡਲ ਚੁਣੋ ਜੋ ਤੁਸੀਂ ਹੁਣੇ ਡਾਊਨਲੋਡ ਕੀਤਾ ਹੈ, ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ-ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਜੇ ਤੁਸੀਂ ਹੇਠਾਂ ਸੱਜੇ ਪਾਸੇ ਕੋਈ ਗਲਤੀ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰੋ-ਇਹ ਅਸਥਾਈ ਹੈ।ਸੱਜੇ ਪਾਸੇ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਮਾਪਦੰਡ ਭਰੋਃ ਬਿੱਟ = 4, ਗਰੁੱਪਸਾਈਜ਼ = 128, ਮਾਡਲ _ ਟਾਈਪ = ਲਾਮਾ ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਇਸ ਮਾਡਲ ਲਈ \'ਸੇਵ\' ਸੈਟਿੰਗਜ਼ \'ਤੇ ਕਲਿੱਕ ਕਰੋ।ਉੱਪਰ ਸੱਜੇ ਪਾਸੇ ਮਾਡਲ ਨੂੰ ਮੁਡ਼ ਲੋਡ ਕਰੋ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਲੋਡ ਹੋ ਗਿਆ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਟੈਬ ਉੱਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਪ੍ਰੋਂਪਟ ਦਰਜ ਕਰੋ! ਪ੍ਰਦਾਨ ਕੀਤੀਆਂ ਫਾਈਲਾਂwizard-mega-13B-GPTQ-4bit-128g.no-act-order.safetensors ਇਹ ਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐਮ. ਏ. ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰੇਗਾ। ਇਸ ਦੀ ਵੱਧ ਤੋਂ ਵੱਧ ਅਨੁਕੂਲਤਾ ਹੈ। ਇਹ ਸੀਸਾਰੇ ਯੂ. ਆਈ. ਨਾਲ ਅਨੁਕੂਲਤਾ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਬਿਨਾਂ-- ਐਕਟ-ਆਰਡਰ ਦੇ ਬਣਾਇਆ ਗਿਆ ਹੈ। wizard-mega-13B-GPTQ-4bit-128g.safetensors ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈਜੀ. ਪੀ. ਟੀ. ਕਿਊ.-ਫਾਰ-ਐਲ. ਐਲ. ਏ. ਐੱਮ. ਏ. ਕੋਡ, ਦੋਵੇਂ ਟ੍ਰਾਈਟਨ ਅਤੇ ਸੀ. ਯੂ. ਡੀ. ਏ. ਸ਼ਾਖਾਵਾਂ ਟੈਕਸਟ-ਪੀਡ਼੍ਹੀ-ਵੈਬੂਈ ਇੱਕ-ਕਲਿੱਕ-ਇੰਸਟਾਲਰ ਮਾਪਦੰਡਾਂ ਨਾਲ ਕੰਮ ਕਰਦੀਆਂ ਹਨਃ ਗਰੁੱਪਸਾਈਜ਼ = 128. ਕੋਈ ਐਕਟ-ਆਰਡਰ ਨਹੀਂ।ਜੀ. ਪੀ. ਟੀ. ਕਿਊ. ਬਣਾਉਣ ਲਈ ਵਰਤੀ ਕਮਾਂਡਃ NAME_2.py/ਵਰਕਸਪੇਸ/ਮਾਡਲ/ਓਪਨ ਐਕਸੈਸ-NAME _ 1-ਕੁਲੈਕਟਿਵ _ ਵਿਜ਼ਾਰਡ-ਮੈਗਾ-13ਬੀ ਸੀ4-- ਡਬਲਯੂ. ਬਿੱਟਸ 4-- ਸੱਚਾ-ਕ੍ਰਮਵਾਰ-- ਗਰੁੱਪਸਾਈਜ਼128------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ -ਵਿਜ਼ਾਰਡ ਮੈਗਾ ਇੱਕ ਲਾਮਾ 13ਬੀ ਮਾਡਲ ਹੈ ਜੋ ਸ਼ੇਅਰਜੀਪੀਟੀ, ਵਿਜ਼ਾਰਡ ਐੱਲਐੱਮ ਅਤੇ ਵਿਜ਼ਾਰਡ-ਵਿਕੁਨਾ ਡੇਟਾਸੇਟਾਂ ਉੱਤੇ ਵਧੀਆ ਢੰਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੇਟ ਸਾਰੇ ਇਸ ਲਈ ਫਿਲਟਰ ਕੀਤੇ ਗਏ ਹਨਜਵਾਬਾਂ ਨੂੰ ਹਟਾਓ ਜਿੱਥੇ ਮਾਡਲ "ਇੱਕ ਨਾਮ _ 1 ਭਾਸ਼ਾ ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ"..., ਆਦਿ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਇਨਕਾਰ ਕਰਦਾ ਹੈ।ਵਿਜ਼ਾਰਡ ਮੈਗਾ 13ਬੀ ਐੱਸਐੱਫਟੀ ਮਾਡਲ ਨੂੰ ਦੋ ਯੁੱਗਾਂ ਤੋਂ ਬਾਅਦ ਜਾਰੀ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਤੀਜੇ (ਅੰਤਿਮ ਯੋਜਨਾਬੱਧ ਯੁੱਗ) ਦੌਰਾਨ ਮੁਲਾਂਕਣ ਘਾਟਾ ਵਧਿਆ ਹੈ।ਸ਼ੁਰੂਆਤੀ ਤੌਰ ਉੱਤੇ ਅੰਤਿਮ ਰੀਲੀਜ਼ ਉਮੀਦਵਾਰ ਦੇ ਰੂਪ ਵਿੱਚ ਯੁਗ 2 ਚੈੱਕਪੁਆਇੰਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਗਿਆ। https://wandb.NAME_1/NAME_3-NAME_4/vicuna-13b/runs/5uebgm49 ਬਿਲਡਵਿਜ਼ਾਰਡ ਮੈਗਾ ਨੂੰ 15 ਘੰਟਿਆਂ ਲਈ 8xA100 80GB ਉੱਤੇ ਐਕਸੋਲੋਟਲ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ। \n ']