ਕਾਗਜ਼ ਦਾ ਸਾਰ ਇਹ ਹੈਃ ਅਸੀਂ ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਪੀਡ਼੍ਹੀ ਲਈ ਵੈਕਟਰ ਕੁਆਂਟਾਇਜ਼ਡ ਫੈਲਾਅ (VQ-ਫੈਲਾਅ) ਮਾਡਲ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ। ਇਹ ਵਿਧੀ ਇੱਕ' ਤੇ ਅਧਾਰਤ ਹੈਵੈਕਟਰ ਕੁਆਂਟਾਇਜ਼ਡ ਵੇਰੀਏਸ਼ਨਲ ਆਟੋਏਨਕੋਡਰ (VQ-VAE) ਜਿਸ ਦੀ ਲੁਕਵੀਂ ਜਗ੍ਹਾ ਨੂੰ ਹਾਲ ਹੀ ਵਿੱਚ ਵਿਕਸਤ ਡੀਨੋਇਜ਼ਿੰਗ ਫੈਲਾਅ ਦੇ ਇੱਕ ਸ਼ਰਤੀਆ ਰੂਪ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।ਸੰਭਾਵੀ ਮਾਡਲ (ਡੀ. ਡੀ. ਪੀ. ਐੱਮ.)। ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਇਹ ਲੇਟੈਂਟ-ਸਪੇਸ ਵਿਧੀ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਕਾਰਜਾਂ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਹੈ ਕਿਉਂਕਿ ਇਹ ਨਾ ਸਿਰਫ ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਖਤਮ ਕਰਦੀ ਹੈ।ਮੌਜੂਦਾ ਤਰੀਕਿਆਂ ਨਾਲ ਇੱਕ ਦਿਸ਼ਾਵੀ ਪੱਖਪਾਤ ਪਰ ਸਾਨੂੰ ਗਲਤੀਆਂ ਦੇ ਇਕੱਠੇ ਹੋਣ ਤੋਂ ਬਚਣ ਲਈ ਇੱਕ ਮਾਸਕ-ਅਤੇ ਜਗ੍ਹਾ ਫੈਲਾਉਣ ਦੀ ਰਣਨੀਤੀ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ,ਜੋ ਕਿ ਮੌਜੂਦਾ ਢੰਗਾਂ ਨਾਲ ਇੱਕ ਗੰਭੀਰ ਸਮੱਸਿਆ ਹੈ। ਸਾਡੇ ਪ੍ਰਯੋਗ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ VQ-ਫੈਲਾਅ ਕਾਫ਼ੀ ਬਿਹਤਰ ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਪੀਡ਼੍ਹੀ ਪੈਦਾ ਕਰਦਾ ਹੈ।ਨਤੀਜੇ ਜਦੋਂ ਸਮਾਨ ਮਾਪਦੰਡਾਂ ਵਾਲੇ ਰਵਾਇਤੀ ਆਟੋਰੇਗ੍ਰੇਸਿਵ (ਏ. ਆਰ.) ਮਾਡਲਾਂ ਨਾਲ ਤੁਲਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਪਿਛਲੇ ਜੀ. ਏ. ਐੱਨ.-ਅਧਾਰਤ ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਦੀ ਤੁਲਨਾ ਵਿੱਚਵਿਧੀਆਂ, ਸਾਡਾ ਵੀਕਿਊ-ਫੈਲਾਅ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਦ੍ਰਿਸ਼ਾਂ ਨੂੰ ਸੰਭਾਲ ਸਕਦਾ ਹੈ ਅਤੇ ਸੰਸ਼ਲੇਸ਼ਿਤ ਚਿੱਤਰ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਵੱਡੇ ਫਰਕ ਨਾਲ ਸੁਧਾਰ ਸਕਦਾ ਹੈ। ਅੰਤ ਵਿੱਚ, ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਚਿੱਤਰਸਾਡੇ ਢੰਗ ਵਿੱਚ ਪੀਡ਼੍ਹੀ ਦੀ ਗਣਨਾ ਨੂੰ ਰੀਪੈਰਾਮੇਟਰਾਈਜ਼ੇਸ਼ਨ ਦੁਆਰਾ ਬਹੁਤ ਕੁਸ਼ਲ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਰਵਾਇਤੀ ਏ. ਆਰ. ਵਿਧੀਆਂ ਨਾਲ, ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਪੀਡ਼੍ਹੀਆਉਟਪੁੱਟ ਚਿੱਤਰ ਰੈਜ਼ੋਲੂਸ਼ਨ ਦੇ ਨਾਲ ਸਮਾਂ ਲੀਨੀਅਰ ਤੌਰ ਤੇ ਵਧਦਾ ਹੈ ਅਤੇ ਇਸ ਲਈ ਆਮ ਅਕਾਰ ਦੇ ਚਿੱਤਰਾਂ ਲਈ ਵੀ ਕਾਫ਼ੀ ਸਮਾਂ ਲੱਗਦਾ ਹੈ।ਗੁਣਵੱਤਾ ਅਤੇ ਗਤੀ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਬਿਹਤਰ ਅਦਾਨ-ਪ੍ਰਦਾਨ ਪ੍ਰਾਪਤ ਕਰੋ। ਸਾਡੇ ਪ੍ਰਯੋਗ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਰੀਪੈਰਾਮੇਟਰਾਈਜ਼ੇਸ਼ਨ ਦੇ ਨਾਲ VQDiffution ਮਾਡਲ ਪੰਦਰਾਂ ਗੁਣਾ ਹੈ।ਇੱਕ ਬਿਹਤਰ ਚਿੱਤਰ ਗੁਣਵੱਤਾ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋਏ ਰਵਾਇਤੀ ਏ. ਆਰ. ਵਿਧੀਆਂ ਨਾਲੋਂ ਤੇਜ਼। ਕੋਡ ਅਤੇ ਮਾਡਲ ਇੱਥੇ ਉਪਲਬਧ ਹਨhttps://github.com/NAME_1/VQ-Diffusion. ਇਸ ਪੋਸਟ ਦੇ ਸੰਖੇਪ ਦੇ ਅਧਾਰ ਤੇ, ਕੀ ਤੁਸੀਂ ਮੈਨੂੰ ਦੱਸ ਸਕਦੇ ਹੋ ਕਿ ਇਸ ਮਾਡਲ ਲਈ ਕੋਡ ਲਿੰਕ ਕੀ ਹੈ? ", "ਕਾਗਜ਼ ਦਾ ਸਾਰ ਇਹ ਹੈਃ ਅਸੀਂ ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਪੀਡ਼੍ਹੀ ਲਈ ਵੈਕਟਰ ਕੁਆਂਟਾਇਜ਼ਡ ਫੈਲਾਅ (VQ-ਫੈਲਾਅ) ਮਾਡਲ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ। ਇਹ ਵਿਧੀ ਇੱਕ 'ਤੇ ਅਧਾਰਤ ਹੈਵੈਕਟਰ ਕੁਆਂਟਾਇਜ਼ਡ ਵੇਰੀਏਸ਼ਨਲ ਆਟੋਏਨਕੋਡਰ (VQ-VAE) ਜਿਸ ਦੀ ਲੁਕਵੀਂ ਜਗ੍ਹਾ ਹਾਲ ਹੀ ਵਿੱਚ ਵਿਕਸਤ ਡੀਨੋਇਜ਼ਿੰਗ ਫੈਲਾਅ ਦੇ ਇੱਕ ਸ਼ਰਤੀਆ ਰੂਪ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਗਈ ਹੈ।ਸੰਭਾਵੀ ਮਾਡਲ (ਡੀ. ਡੀ. ਪੀ. ਐੱਮ.)। ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਇਹ ਲੇਟੈਂਟ-ਸਪੇਸ ਵਿਧੀ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਕਾਰਜਾਂ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਹੈ ਕਿਉਂਕਿ ਇਹ ਨਾ ਸਿਰਫ ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਖਤਮ ਕਰਦੀ ਹੈ।ਮੌਜੂਦਾ ਤਰੀਕਿਆਂ ਨਾਲ ਇੱਕ ਦਿਸ਼ਾਵੀ ਪੱਖਪਾਤ ਪਰ ਸਾਨੂੰ ਗਲਤੀਆਂ ਦੇ ਇਕੱਠੇ ਹੋਣ ਤੋਂ ਬਚਣ ਲਈ ਇੱਕ ਮਾਸਕ-ਅਤੇ ਜਗ੍ਹਾ ਫੈਲਾਉਣ ਦੀ ਰਣਨੀਤੀ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ,ਜੋ ਕਿ ਮੌਜੂਦਾ ਢੰਗਾਂ ਨਾਲ ਇੱਕ ਗੰਭੀਰ ਸਮੱਸਿਆ ਹੈ। ਸਾਡੇ ਪ੍ਰਯੋਗ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ VQ-ਫੈਲਾਅ ਕਾਫ਼ੀ ਬਿਹਤਰ ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਪੀਡ਼੍ਹੀ ਪੈਦਾ ਕਰਦਾ ਹੈ।ਨਤੀਜੇ ਜਦੋਂ ਸਮਾਨ ਮਾਪਦੰਡਾਂ ਵਾਲੇ ਰਵਾਇਤੀ ਆਟੋਰੇਗ੍ਰੇਸਿਵ (ਏ. ਆਰ.) ਮਾਡਲਾਂ ਨਾਲ ਤੁਲਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਪਿਛਲੇ ਜੀ. ਏ. ਐੱਨ.-ਅਧਾਰਤ ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਦੀ ਤੁਲਨਾ ਵਿੱਚਵਿਧੀਆਂ, ਸਾਡਾ ਵੀਕਿਊ-ਫੈਲਾਅ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਦ੍ਰਿਸ਼ਾਂ ਨੂੰ ਸੰਭਾਲ ਸਕਦਾ ਹੈ ਅਤੇ ਸੰਸ਼ਲੇਸ਼ਿਤ ਚਿੱਤਰ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਵੱਡੇ ਫਰਕ ਨਾਲ ਸੁਧਾਰ ਸਕਦਾ ਹੈ। ਅੰਤ ਵਿੱਚ, ਅਸੀਂ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਚਿੱਤਰਸਾਡੇ ਢੰਗ ਵਿੱਚ ਪੀਡ਼੍ਹੀ ਦੀ ਗਣਨਾ ਨੂੰ ਰੀਪੈਰਾਮੇਟਰਾਈਜ਼ੇਸ਼ਨ ਦੁਆਰਾ ਬਹੁਤ ਕੁਸ਼ਲ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਰਵਾਇਤੀ ਏ. ਆਰ. ਵਿਧੀਆਂ ਨਾਲ, ਟੈਕਸਟ-ਟੂ-ਚਿੱਤਰ ਪੀਡ਼੍ਹੀਆਉਟਪੁੱਟ ਚਿੱਤਰ ਰੈਜ਼ੋਲੂਸ਼ਨ ਦੇ ਨਾਲ ਸਮਾਂ ਲੀਨੀਅਰ ਤੌਰ ਤੇ ਵਧਦਾ ਹੈ ਅਤੇ ਇਸ ਲਈ ਆਮ ਅਕਾਰ ਦੇ ਚਿੱਤਰਾਂ ਲਈ ਵੀ ਕਾਫ਼ੀ ਸਮਾਂ ਲੱਗਦਾ ਹੈ।ਗੁਣਵੱਤਾ ਅਤੇ ਗਤੀ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਬਿਹਤਰ ਅਦਾਨ-ਪ੍ਰਦਾਨ ਪ੍ਰਾਪਤ ਕਰੋ। ਸਾਡੇ ਪ੍ਰਯੋਗ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਰੀਪੈਰਾਮੇਟਰਾਈਜ਼ੇਸ਼ਨ ਦੇ ਨਾਲ VQDiffution ਮਾਡਲ ਪੰਦਰਾਂ ਗੁਣਾ ਹੈ।ਇੱਕ ਬਿਹਤਰ ਚਿੱਤਰ ਗੁਣਵੱਤਾ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋਏ ਰਵਾਇਤੀ ਏ. ਆਰ. ਵਿਧੀਆਂ ਨਾਲੋਂ ਤੇਜ਼। ਕੋਡ ਅਤੇ ਮਾਡਲ ਇੱਥੇ ਉਪਲਬਧ ਹਨhttps://github.com/NAME_1/VQ-Diffusion. ਇਸ ਪੋਸਟ ਦੇ ਸੰਖੇਪ ਦੇ ਅਧਾਰ ਤੇ, ਕੀ ਤੁਸੀਂ ਮੈਨੂੰ ਦੱਸ ਸਕਦੇ ਹੋ ਕਿ ਇਸ ਮਾਡਲ ਲਈ ਕੋਡ ਲਿੰਕ ਕੀ ਹੈ? \n "]