ਬੀ. ਈ. ਆਰ. ਟੀ. ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ'] ", 'ਬੀ. ਈ. ਆਰ. ਟੀ. ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ?', ' [\'ਬੀ. ਈ. ਆਰ. ਟੀ. ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ\', \'ਬੀ. ਈ. ਆਰ. ਟੀ. ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੋ ਵੱਖ-ਵੱਖ ਐੱਨ. ਐੱਲ. ਪੀ. ਆਰਕੀਟੈਕਚਰ ਹਨਃ \\n\\nBERT (ਦੋ-ਦਿਸ਼ਾਵੀ ਐਨਕੋਡਰ ਪ੍ਰਸਤੁਤੀਆਂ)।ਟ੍ਰਾਂਸਫਾਰਮਰਜ਼ ਤੋਂ) ਗੂਗਲ ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਭਾਸ਼ਾ ਪ੍ਰਸਤੁਤੀਆਂ ਦਾ ਇੱਕ ਤਰੀਕਾ ਹੈ। ਇਹ ਟ੍ਰਾਂਸਫਾਰਮਰਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਇੱਕ ਧਿਆਨ ਵਿਧੀ ਜੋ ਸਿੱਖਦੀ ਹੈ।ਕਿਸੇ ਪਾਠ ਵਿੱਚ ਸ਼ਬਦਾਂ ਦਰਮਿਆਨ ਪ੍ਰਸੰਗਿਕ ਸਬੰਧ। \\n\\nਬੀਈਆਰਟੀ ਬਾਰੇ ਕੁੱਝ ਮੁੱਖ ਨੁਕਤੇਃ \\n\\n ਇਹ ਇੱਕ ਵੱਡੇ ਕਾਰਪਸ (ਵਿਕੀਪੀਡੀਆ + ਬੁੱਕ ਕਾਰਪਸ,) ਉੱਤੇ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਹੈ।3. 3 ਬੀ ਸ਼ਬਦ) \\n ਇਹ ਪੂਰਵ ਸਿਖਲਾਈ ਲਈ ਮਾਸਕਡ ਲੈਂਗਵੇਜ ਮਾਡਲਿੰਗ (ਐੱਮ. ਐੱਲ. ਐੱਮ.) ਅਤੇ ਅਗਲੇ ਵਾਕ ਭਵਿੱਖਬਾਣੀ (ਐੱਨ. ਐੱਸ. ਪੀ.) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। \\n ਇਸ ਦੇ ਦੋ ਮਾਡਲ ਹਨ-ਬੀ. ਈ. ਆਰ. ਟੀ. ਬੀ. ਏ. ਐੱਸ. ਈ. (ਐੱਲ. = 12, ਐੱਨ. ਐੱਸ. ਪੀ.)H = 768, A = 12, ਕੁੱਲ ਮਾਪਦੰਡ = 110M) ਅਤੇ BERTLARGE (L = 24, H = 1024, A = 16, ਕੁੱਲ ਮਾਪਦੰਡ = 340M) \\n ਇਹ ਬਹੁਤ ਸਾਰੇ NLP ਉੱਤੇ ਅਤਿ-ਆਧੁਨਿਕ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ।ਕੰਮ ਜਿਵੇਂ ਕਿ GLUE, SQuAD, ਆਦਿ। \\n\\nਟ੍ਰਾਂਸਫਾਰਮਰ ਗੂਗਲ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਦੁਆਰਾ ਪ੍ਰਸਤਾਵਿਤ ਧਿਆਨ-ਅਧਾਰਤ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਆਰਕੀਟੈਕਚਰ ਦੀ ਇੱਕ ਵਿਆਪਕ ਸ਼੍ਰੇਣੀ ਹੈ।ਦਿਮਾਗ. ਕੁੱਝ ਮੁੱਖ ਨੁਕਤੇਃ \\n\\n ਉਹ ਆਪਣੇ ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦੀਆਂ ਪ੍ਰਸਤੁਤੀਆਂ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਵੈ-ਧਿਆਨ ਵਿਧੀਆਂ ਉੱਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ। \\n ਉਹਨਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨਬੀ. ਈ. ਆਰ. ਟੀ., ਜੀ. ਪੀ. ਟੀ.-2, ਐੱਸ. ਐੱਲ. ਨੈੱਟ, ਆਦਿ ਵਰਗੇ ਆਰਕੀਟੈਕਚਰ ਬਹੁਤ ਸਫਲ ਰਹੇ ਹਨ ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਐੱਨ. ਐੱਲ. ਪੀ. ਕਾਰਜਾਂ ਲਈ ਅਸਲ ਮਿਆਰ ਬਣ ਗਏ ਹਨ।ਸੰਖੇਪਃ \\n\\n ਬੀ. ਈ. ਆਰ. ਟੀ. ਪੂਰਵ-ਸਿਖਲਾਈ ਭਾਸ਼ਾ ਪ੍ਰਸਤੁਤੀਆਂ ਲਈ ਇੱਕ ਵਿਧੀ ਹੈ। \\n ਟ੍ਰਾਂਸਫਾਰਮਰ ਧਿਆਨ-ਅਧਾਰਤ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਆਰਕੀਟੈਕਚਰ ਹਨ ਜੋਬੀ. ਈ. ਆਰ. ਟੀ. ਦੀ ਵਰਤੋਂ. \\n ਬੀ. ਈ. ਆਰ. ਟੀ. ਨੇ ਐੱਨ. ਐੱਲ. ਪੀ. ਵਿੱਚ ਵੱਡੇ ਸੁਧਾਰ ਕੀਤੇ ਹਨ, ਪਰ ਇਹ ਇੱਕ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੀ ਸਿਰਫ ਇੱਕ ਉਦਾਹਰਣ ਹੈ। ਜੀ. ਪੀ. ਟੀ.-2 ਵਰਗੇ ਕਈ ਹੋਰ ਰੂਪ ਹਨ,XLNet, ਆਦਿ। \\n\\n ਉਮੀਦ ਹੈ ਕਿ ਇਹ BERT ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਵਿੱਚ ਅੰਤਰ ਨੂੰ ਸਪਸ਼ਟ ਕਰਨ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰਦਾ ਹੈ! ਜੇ ਤੁਹਾਡੇ ਕੋਈ ਹੋਰ ਪ੍ਰਸ਼ਨ ਹਨ ਤਾਂ ਮੈਨੂੰ ਦੱਸੋ। \', "BERT ਕਿਵੇਂ ਹੈ?ਦੋ-ਦਿਸ਼ਾਵੀ ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਇੱਕ-ਦਿਸ਼ਾਵੀ ਹਨ? ਕੀ ਦੋਵੇਂ ਦੋ-ਦਿਸ਼ਾਵੀ ਨਹੀਂ ਹਨ ਕਿਉਂਕਿ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੀ ਇੰਕੋਡਿੰਗ ਪਰਤ ਵਿੱਚ ਅਸੀਂ ਸਾਰੇ ਇਨਪੁਟਸ ਨੂੰ ਪਾਸ ਕਰਦੇ ਹਾਂ।ਸਥਿਤੀ ਸੱਜੇ ਇੰਕੋਡਿੰਗ ਦੇ ਨਾਲ ਸਮਾਨਾਂਤਰ "] ', 'ਬੀ. ਈ. ਆਰ. ਟੀ. ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ?', ' [\'ਬੀ. ਈ. ਆਰ. ਟੀ. ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ\', \'ਬੀ. ਈ. ਆਰ. ਟੀ. ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੋ ਵੱਖ-ਵੱਖ ਐੱਨ. ਐੱਲ. ਪੀ. ਆਰਕੀਟੈਕਚਰ ਹਨਃ \\n\\nBERT (ਦੋ-ਦਿਸ਼ਾਵੀ ਐਨਕੋਡਰ ਪ੍ਰਸਤੁਤੀਆਂ)।ਟ੍ਰਾਂਸਫਾਰਮਰਜ਼ ਤੋਂ) ਗੂਗਲ ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਭਾਸ਼ਾ ਪ੍ਰਸਤੁਤੀਆਂ ਦਾ ਇੱਕ ਤਰੀਕਾ ਹੈ। ਇਹ ਟ੍ਰਾਂਸਫਾਰਮਰਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਇੱਕ ਧਿਆਨ ਵਿਧੀ ਜੋ ਸਿੱਖਦੀ ਹੈ।ਕਿਸੇ ਪਾਠ ਵਿੱਚ ਸ਼ਬਦਾਂ ਦਰਮਿਆਨ ਪ੍ਰਸੰਗਿਕ ਸਬੰਧ। \\n\\nਬੀਈਆਰਟੀ ਬਾਰੇ ਕੁੱਝ ਮੁੱਖ ਨੁਕਤੇਃ \\n\\n ਇਹ ਇੱਕ ਵੱਡੇ ਕਾਰਪਸ (ਵਿਕੀਪੀਡੀਆ + ਬੁੱਕ ਕਾਰਪਸ,) ਉੱਤੇ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਹੈ।3. 3 ਬੀ ਸ਼ਬਦ) \\n ਇਹ ਪੂਰਵ ਸਿਖਲਾਈ ਲਈ ਮਾਸਕਡ ਲੈਂਗਵੇਜ ਮਾਡਲਿੰਗ (ਐੱਮ. ਐੱਲ. ਐੱਮ.) ਅਤੇ ਅਗਲੇ ਵਾਕ ਭਵਿੱਖਬਾਣੀ (ਐੱਨ. ਐੱਸ. ਪੀ.) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। \\n ਇਸ ਦੇ ਦੋ ਮਾਡਲ ਹਨ-ਬੀ. ਈ. ਆਰ. ਟੀ. ਬੀ. ਏ. ਐੱਸ. ਈ. (ਐੱਲ. = 12, ਐੱਨ. ਐੱਸ. ਪੀ.)H = 768, A = 12, ਕੁੱਲ ਮਾਪਦੰਡ = 110M) ਅਤੇ BERTLARGE (L = 24, H = 1024, A = 16, ਕੁੱਲ ਮਾਪਦੰਡ = 340M) \\n ਇਹ ਬਹੁਤ ਸਾਰੇ NLP ਉੱਤੇ ਅਤਿ-ਆਧੁਨਿਕ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ।ਕੰਮ ਜਿਵੇਂ ਕਿ GLUE, SQuAD, ਆਦਿ। \\n\\nਟ੍ਰਾਂਸਫਾਰਮਰ ਗੂਗਲ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਦੁਆਰਾ ਪ੍ਰਸਤਾਵਿਤ ਧਿਆਨ-ਅਧਾਰਤ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਆਰਕੀਟੈਕਚਰ ਦੀ ਇੱਕ ਵਿਆਪਕ ਸ਼੍ਰੇਣੀ ਹੈ।ਦਿਮਾਗ. ਕੁੱਝ ਮੁੱਖ ਨੁਕਤੇਃ \\n\\n ਉਹ ਆਪਣੇ ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦੀਆਂ ਪ੍ਰਸਤੁਤੀਆਂ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਵੈ-ਧਿਆਨ ਵਿਧੀਆਂ ਉੱਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ। \\n ਉਹਨਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨਬੀ. ਈ. ਆਰ. ਟੀ., ਜੀ. ਪੀ. ਟੀ.-2, ਐੱਸ. ਐੱਲ. ਨੈੱਟ, ਆਦਿ ਵਰਗੇ ਆਰਕੀਟੈਕਚਰ ਬਹੁਤ ਸਫਲ ਰਹੇ ਹਨ ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਐੱਨ. ਐੱਲ. ਪੀ. ਕਾਰਜਾਂ ਲਈ ਅਸਲ ਮਿਆਰ ਬਣ ਗਏ ਹਨ।ਸੰਖੇਪਃ \\n\\n ਬੀ. ਈ. ਆਰ. ਟੀ. ਪੂਰਵ-ਸਿਖਲਾਈ ਭਾਸ਼ਾ ਪ੍ਰਸਤੁਤੀਆਂ ਲਈ ਇੱਕ ਵਿਧੀ ਹੈ। \\n ਟ੍ਰਾਂਸਫਾਰਮਰ ਧਿਆਨ-ਅਧਾਰਤ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਆਰਕੀਟੈਕਚਰ ਹਨ ਜੋਬੀ. ਈ. ਆਰ. ਟੀ. ਦੀ ਵਰਤੋਂ. \\n ਬੀ. ਈ. ਆਰ. ਟੀ. ਨੇ ਐੱਨ. ਐੱਲ. ਪੀ. ਵਿੱਚ ਵੱਡੇ ਸੁਧਾਰ ਕੀਤੇ ਹਨ, ਪਰ ਇਹ ਇੱਕ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੀ ਸਿਰਫ ਇੱਕ ਉਦਾਹਰਣ ਹੈ। ਜੀ. ਪੀ. ਟੀ.-2 ਵਰਗੇ ਕਈ ਹੋਰ ਰੂਪ ਹਨ,XLNet, ਆਦਿ। \\n\\n ਉਮੀਦ ਹੈ ਕਿ ਇਹ BERT ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਵਿੱਚ ਅੰਤਰ ਨੂੰ ਸਪਸ਼ਟ ਕਰਨ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰਦਾ ਹੈ! ਜੇ ਤੁਹਾਡੇ ਕੋਈ ਹੋਰ ਪ੍ਰਸ਼ਨ ਹਨ ਤਾਂ ਮੈਨੂੰ ਦੱਸੋ। \', "BERT ਕਿਵੇਂ ਹੈ?ਦੋ-ਦਿਸ਼ਾਵੀ ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਇੱਕ-ਦਿਸ਼ਾਵੀ ਹਨ? ਕੀ ਦੋਵੇਂ ਦੋ-ਦਿਸ਼ਾਵੀ ਨਹੀਂ ਹਨ ਕਿਉਂਕਿ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੀ ਇੰਕੋਡਿੰਗ ਪਰਤ ਵਿੱਚ ਅਸੀਂ ਸਾਰੇ ਇਨਪੁਟਸ ਨੂੰ ਪਾਸ ਕਰਦੇ ਹਾਂ।ਸਥਿਤੀ ਸੰਬੰਧੀ ਇੰਕੋਡਿੰਗ ਦੇ ਨਾਲ ਸਮਾਨਾਂਤਰ, \'ਤੁਸੀਂ ਸਹੀ ਹੋ ਕਿ BERT ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੋਵੇਂ ਇੱਕ ਅਰਥ ਵਿੱਚ ਦੋ-ਦਿਸ਼ਾਵੀ ਹੋ ਸਕਦੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਸਮੁੱਚੇ ਨੂੰ ਲੈਂਦੇ ਹਨਇਨਪੁਟ ਦੇ ਰੂਪ ਵਿੱਚ ਕ੍ਰਮ। ਹਾਲਾਂਕਿ, ਕੁੱਝ ਮੁੱਖ ਅੰਤਰ ਹਨਃ \\n\\n ਬੀ. ਈ. ਆਰ. ਟੀ. ਵਿੱਚ, ਦੋ-ਦਿਸ਼ਾਵੀ ਪਹਿਲੂ ਮਾਸਕਡ ਐੱਲ. ਐੱਮ. (ਐੱਮ. ਐੱਲ. ਐੱਮ.) ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਆਉਂਦਾ ਹੈ।ਉਦੇਸ਼. ਬੀ. ਈ. ਆਰ. ਟੀ. ਬੇਤਰਤੀਬੇ ਢੰਗ ਨਾਲ ਇੰਪੁੱਟ ਵਿੱਚ ਕੁੱਝ ਟੋਕਨ ਨੂੰ ਮਾਸਕ ਕਰਦਾ ਹੈ ਅਤੇ ਅਸਲ ਟੋਕਨ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨੀ ਪੈਂਦੀ ਹੈ। ਇਹ ਉਹਨਾਂ ਪ੍ਰਸਤੁਤੀਆਂ ਨੂੰ ਸਿੱਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ ਜੋ ਫਿਊਜ਼ ਹੁੰਦੀਆਂ ਹਨ।ਖੱਬੇ ਅਤੇ ਸੱਜੇ ਦੋਵਾਂ ਤੋਂ ਪ੍ਰਸੰਗ. \\n\\n ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਵਿੱਚ (ਜਿਵੇਂ ਜੀ. ਪੀ. ਟੀ.-2), ਪ੍ਰਸੰਗ ਸਿਰਫ ਖੱਬੇ (ਪਿਛਲੇ ਟੋਕਨ) ਤੋਂ ਆਉਂਦਾ ਹੈ ਕਿਉਂਕਿ ਉਹਨਾਂ ਨੂੰ ਕਾਰਨ ਨਾਲ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।ਭਾਸ਼ਾ ਮਾਡਲਿੰਗ। ਇਸ ਲਈ ਪ੍ਰਸਤੁਤੀਆਂ ਖੱਬੇ ਤੋਂ ਸੱਜੇ ਹੁੰਦੀਆਂ ਹਨ। \\n\\n ਬੀ. ਈ. ਆਰ. ਟੀ. ਵਿੱਚ, ਤਰਤੀਬ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਕੋਈ ਸਥਿਤੀ ਜਾਣਕਾਰੀ ਨਹੀਂ ਹੁੰਦੀ-ਇਹ ਐੱਮ. ਐੱਲ. ਐੱਮ. ਉੱਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ।ਆਰਡਰ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਸਿੱਖਣ ਦਾ ਉਦੇਸ਼। ਟ੍ਰਾਂਸਫਾਰਮਰ ਕ੍ਰਮ ਵਿੱਚ ਸਥਿਤੀ ਦਾ ਧਿਆਨ ਰੱਖਣ ਲਈ ਸੰਪੂਰਨ ਸਥਿਤੀ ਸੰਬੰਧੀ ਇੰਕੋਡਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। \\n\\n • BERT ਇੱਕ "ਅਗਲਾ" ਵਰਤਦਾ ਹੈ।ਵਾਕ ਭਵਿੱਖਬਾਣੀ "(ਐੱਨ. ਐੱਸ. ਪੀ.) ਉਦੇਸ਼ ਜੋ ਮਾਡਲ ਨੂੰ ਇਹ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ ਕਿ ਕੀ ਇੱਕ ਵਾਕ ਦੂਜੇ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ।ਡਾਟਾ. ਜੀ. ਪੀ. ਟੀ.-2 ਵਰਗੇ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਵਿੱਚ ਇਸ ਉਦੇਸ਼ ਦੀ ਘਾਟ ਹੈ। ਸੰਖੇਪ ਵਿੱਚਃ \\n\\n • ਬੀ. ਈ. ਆਰ. ਟੀ. ਇਸ ਅਰਥ ਵਿੱਚ ਦੋ-ਦਿਸ਼ਾਵੀ ਹੈ ਕਿ ਇਸ ਦੇ ਪੂਰਵ-ਸਿਖਲਾਈ ਉਦੇਸ਼ (ਐੱਮ. ਐੱਲ. ਐੱਮ.)ਅਤੇ ਐੱਨ. ਐੱਸ. ਪੀ.) ਇਸ ਨੂੰ ਦੋਵਾਂ ਦਿਸ਼ਾਵਾਂ ਤੋਂ ਸੰਦਰਭ ਨੂੰ ਫਿਊਜ਼ ਕਰਨਾ ਸਿਖਾਉਂਦੇ ਹਨ। \\n ਟ੍ਰਾਂਸਫਾਰਮਰ ਇੰਪੁੱਟ ਪੱਧਰ \'ਤੇ ਦੋ-ਦਿਸ਼ਾਵੀ ਹੋ ਸਕਦੇ ਹਨ, ਪਰ ਉਹਨਾਂ ਦੇ ਉਦੇਸ਼ (ਜਿਵੇਂ ਕਿ ਕਾਰਨਐੱਲ. ਐੱਮ.) ਇੱਕ ਦਿਸ਼ਾਵੀ/ਖੱਬੇ ਤੋਂ ਸੱਜੇ ਹੁੰਦੇ ਹਨ। \\n ਹੋਰ ਆਰਕੀਟੈਕਚਰਲ ਅੰਤਰ ਜਿਵੇਂ ਕਿ ਬੀ. ਈ. ਆਰ. ਟੀ. ਵਿੱਚ ਸਥਿਤੀ ਸੰਬੰਧੀ ਇੰਕੋਡਿੰਗ ਦੀ ਘਾਟ ਵੀ ਇਸ ਨੂੰ ਵਧੇਰੇ ਬਣਾਉਂਦੀ ਹੈ।ਦੋ-ਦਿਸ਼ਾਵੀ। \\n\\n ਇੱਕ ਉੱਚ ਪੱਧਰ ਉੱਤੇ, ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਇਸ ਤਰ੍ਹਾਂ ਸੋਚ ਸਕਦੇ ਹੋਃ \\n\\n • BERT ਇੱਕ ਦੋ-ਦਿਸ਼ਾਵੀ ਮਾਡਲ ਹੈ ਜੋ ਇੱਕ ਦੇ ਪੂਰੇ ਪ੍ਰਸੰਗ ਨੂੰ ਸਮਝ ਸਕਦਾ ਹੈ।ਕ੍ਰਮ. \\n ਜੀ. ਪੀ. ਟੀ.-2 ਵਰਗੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਇੱਕ ਦਿਸ਼ਾਵੀ ਮਾਡਲ ਹਨ ਜੋ ਖੱਬੇ ਤੋਂ ਸੱਜੇ ਤਰੀਕੇ ਨਾਲ ਟੈਕਸਟ ਤਿਆਰ ਕਰਦੇ ਹਨ ਜਾਂ ਸਮਝਦੇ ਹਨ। \\n\\n ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਇਸ ਨਾਲ ਮਦਦ ਮਿਲੇਗੀ।ਦੋ-ਦਿਸ਼ਾਵਾਂ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਬੀ. ਈ. ਆਰ. ਟੀ. ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਵਿੱਚ ਅੰਤਰ ਨੂੰ ਸਪਸ਼ਟ ਕਰੋ! ਜੇ ਤੁਹਾਡੇ ਕੋਈ ਹੋਰ ਪ੍ਰਸ਼ਨ ਹਨ ਤਾਂ ਮੈਨੂੰ ਦੱਸੋ। \',\' ਹਾਂ \'] ', 'ਬੀ. ਈ. ਆਰ. ਟੀ. ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ? \n ']