['   \n  \n [\'ਦਿੱਤਾ ਕਾਗਜ਼ਃ \\nabstract:ਅਸੀਂ ਓਸ਼ੀਅਨ-ਲਾਰਜ-ਸਕੇਲ ਐੱਨ. ਐੱਲ. ਆਈ. ਬੈਂਚਮਾਰਕ ਡੇਟਾਸੇਟ, ਕਲੈਕਟਿਡ-ਵਾਇਆਐਨੀਟਰੇਟਿਵ, adversarialhuman-and-model-in-the-loopprocedure.Weshowthattrainingmodelsonthis ਪੇਸ਼ ਕਰਦੇ ਹਾਂ।ਪ੍ਰਸਿੱਧ ਐੱਨ. ਐੱਲ. ਆਈ. ਬੈਂਚਮਾਰਕ ਦੀ ਆਧੁਨਿਕ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਨਵਾਂ ਡੇਟਾ ਸੈੱਟਲੈੱਡਸਟੋਸਟੇਟ, ਜਦੋਂ ਕਿ ਮੁਸ਼ਕਲ ਚੁਣੌਤੀ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਰਿਹਾ ਹੈ।withitsnewtestset.Ouranalysisshedslightਆਪਣੇ ਕਮਜ਼ੋਰ ਪਹਿਲੂਆਂ ਨੂੰ ਲੱਭਣ ਵਿੱਚ ਸਫਲਤਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਆਧੁਨਿਕ ਮਾਡਲਾਂ ਅਤੇ ਗੈਰ-ਮਾਹਰ ਮਾਡਲਾਂ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ।ਇੱਕ ਨਿਰੰਤਰ-ਅੰਤ ਸਿੱਖਣ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਡੇਟਾ-ਸੰਗ੍ਰਹਿ ਵਿਧੀ ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਿ ਐੱਨ. ਐੱਲ. ਯੂ. ਲਈ ਇੱਕ ਗਤੀਸ਼ੀਲ ਟੀਚਾ ਬਣ ਜਾਂਦਾ ਹੈ, ਨਾ ਕਿ ਥੈਨੈਸਟੈਟਿਕਬੈਂਚਮਾਰਕ ਜੋ ਕਿ ਤੁਰੰਤ ਸੰਤ੍ਰਿਪਤ ਹੋਵੇਗਾ। \\n\\nਇੰਟਰਡਕਸ਼ਨਃ ਪ੍ਰੋਗਰੈਸਿੰਨਏਆਈਐਂਡਰਿਵਨ ਦੁਆਰਾ, ਹੋਰ ਚੀਜ਼ਾਂ ਦੇ ਨਾਲ, ਚੁਣੌਤੀਪੂਰਨ ਵੱਡੇ ਪੈਮਾਨੇ ਦਾ ਵਿਕਾਸਬੈਂਚਮਾਰਕ ਜਿਵੇਂ ਕਿ ਇਮੇਜਨੈੱਟ (ਰਸਕੋਵਸਕੀਟਲ., 2015) ਇਨਕੰਪਿਊਟਰੀਜ਼ਨ, ਅਤੇ ਐੱਸਐੱਨਐੱਲਆਈ (ਐੱਨਏਐੱਮਈ _ 1 ਈਟਾਲ., 2015), ਐੱਸਕਿਊਯੂਏਡੀ (ਰਾਜਪੁਰਕਰੇਟਲ., 2016), ਅਤੇਨੈਚੁਰਲ ਲੈਂਗੁਏਜ ਪ੍ਰੋਸੈਸਿੰਗ (ਐੱਨ. ਐੱਲ. ਪੀ.)। ਹਾਲ ਹੀ ਵਿੱਚ, ਨੈਚੁਰਲ ਲੈਂਗੁਏਜ ਅੰਡਰਸਟੈਂਡਿੰਗ (ਐੱਨ. ਐੱਲ. ਯੂ.) ਇਨਪਾਰਟੀਕਲ, ਫੋਕਸਸ਼ਿਫਟਡਟੋਕੌਮਬਾਈਨਡਬੈਂਚਮਾਰਕ ਜਿਵੇਂ ਕਿ ਸੇਂਟਈਵਲ (ਐੱਨ. ਏ. ਐੱਮ. ਈ. _ 2,2018) ਅਤੇ ਜੀ. ਐੱਲ. ਯੂ. ਈ. (ਵੈਂਗਟਲ., 2018), ਜੋ ਮਲਟੀਪਲੇਟਾਸਕਸ ਅਤੇ ਯੂਨੀਫਾਈਡ ਪਲੇਟਫਾਰਮ ਫਾਰ ਐਨਾਲਿਸਿਸ \'ਤੇ ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਟਰੈਕ ਕਰਦੇ ਹਨ।ਹਾਲਾਂਕਿ, ਐੱਨ. ਐੱਲ. ਯੂ. ਬੇਨਚਮਾਰਕਸ ਸਟ੍ਰਗਲਟੋਕੀਪ ਨਾਲ modelimprovement.Whereasittookaround15ਐੱਮ. ਐੱਨ. ਆਈ. ਐੱਸ. ਟੀ. ਉੱਤੇ "ਲਗਭਗ-ਮਨੁੱਖੀ ਪ੍ਰਦਰਸ਼ਨ" ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਸਾਲ (ਲੇਕੁਨੇਟਲ., 1998; ਸਾਇਰੇਨੇਟਲ., 2012; ਵੈਨੇਟਲ., 2013) ਅਤੇ ਲਗਭਗ 7 ਸਾਲ ਪਹਿਲਾਂਹਿਊਮੈਨਸਨਇਮੇਜਨੈੱਟ (ਡੇਂਗੈਟਲ., 2009; ਰਸਕੋਵਸਕੀਟਲ., 2015; ਹੀਟਲ., 2016) ਨੂੰ ਪਛਾਡ਼ਦੇ ਹੋਏ, GLUEbenchmarkdidnotꯂꯥꯁਟਾਸਲੋਂਗਸਵਹੈਸ਼ੋਪਡ ਆਫਟਰਟ ਹੈੱਡਵੈਂਟ ਆਫਬਰਟ (ਡੇਵਲੀਨੈਟਲ., 2018), ਐਂਡਰਾਪੀਡਲਾਈਹੈਡਟੋਬੀਐਕਸਟੈਂਡਿਨਟੋ ਸੁਪਰਗਲੂ (ਵੈਂਗੈਟਲ., 2019)।ਪ੍ਰਸ਼ਨਃ ਕੀ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਇਹ ਡਾਟਾ ਸੈੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ?ਸਪੀਡ ਦੇ ਨਾਲ ਕਿਹਡ਼ਾ ਬੈਂਚਮਾਰਕ ਇੱਕ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਸ਼ਨ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈਃ ਮੌਜੂਦਾ ਐਨ. ਐਲ. ਐਨ. ਐਲ. ਮਾਡਲਸ ਸੱਜਣ ਤੌਰ ਤੇ ਚੰਗੇ ਹਨਪ੍ਰਦਰਸ਼ਨ ਆਨਬੈਂਚਮਾਰਕਸ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ? ਐਗ੍ਰੋਇੰਗ ਬਾਡੀ ਆਫ ਐਵੀਡੇੰਸ ਸ਼ੋਅਸਟੈਟ-ਆਫ-ਦ-ਆਰਟ ਮਾਡਲਸਟੈਟਿਸਟੀਕਲ ਪੈਟਰਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸਿੱਖਦੇ ਹਨਇੰਡੈਟਾਸੇਟਸ (ਗੁਰੂਰੰਗਨੇਟਾਲ., 2018; ਪੋਲੀਆਕੇਟਾਲ., 2018; ਸੁਚੀਆ, 2018; ਗਲੌਕਨੇਰੇਟਾਲ., 2018; ਗੇਵਾ)etal., 2019; McCoyetal., 2019), ਲਰਨਿੰਗ ਮੀਨਿੰਗ-ਇਨਫਲੈਕਸੀਬਲ ਅਤੇ ਜਨਰਲਾਈਜ਼ੇਬਲਵੇਅ thathumansdo.Giventhis ਦੀ ਬਜਾਏ, ਮਨੁੱਖੀ ਸੰਕੇਤਕ-ਹੋ ਸਕਦੇ ਹਨ।ਉਹਨਾਂ ਨੇ ਤਜਰਬੇਕਾਰ ਐੱਨ. ਐੱਲ. ਪੀ. ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ-ਮਾਹਰਾਂ ਨੂੰ-ਸ਼ਾਇਦ ਅਸਾਨੀ ਨਾਲ ਹੋ ਸਕਦਾ ਹੈexposemodelbrittleness.Weproposeaniterative, ਐਡਵੌਰਸਰੀਅਲ ਹਿਊਮਨ-ਐਂਡ ਮਾਡਲ-ਇਨ-ਦ-ਲੂਪਸੋਲਿਊਸ਼ਨ ਫਾਰ ਐੱਨ. ਐੱਲ. ਯੂ. ਡੇਟਾਸੇਟ ਕਲੈਕਸ਼ਨ-ਐਡਰੈੱਸਜ਼ਬੋਥਬੈਂਚਮਾਰਕ ਲੋਂਗੇਵਿਟੀ ਅਤੇrobustnessissues.Inthefirststage, humanannotatorsdeviseexamplesthatourcurrentbestmodelscannotdeterminethecorrectlabelfor.Theseਨਤੀਜੇ ਵਜੋਂ ਹਾਰਡ ਉਦਾਹਰਣਾਂ-ਜਿਨ੍ਹਾਂ ਨੂੰ ਵਾਧੂ ਮਾਡਲਾਂ ਦੀਆਂ ਕਮਜ਼ੋਰੀਆਂ ਨੂੰ ਵਧਾਉਣਾ ਚਾਹੀਦਾ ਹੈ-ਸਿਖਲਾਈ ਨੂੰ ਵੱਖ-ਵੱਖ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ', 'ਦਿੱਤਾ ਕਾਗਜ਼ਃ ਸੰਖੇਪਃਅਸੀਂ ਓਸ਼ੀਅਨ-ਲਾਰਜ-ਸਕੇਲ ਐੱਨ. ਐੱਲ. ਆਈ. ਬੈਂਚਮਾਰਕ ਡੇਟਾਸੇਟ, ਕਲੈਕਟਿਡ-ਵਾਇਆਐਨੀਟਰੇਟਿਵ, adversarialhuman-and-model-in-the-loopprocedure.Weshowthattrainingmodelsonthis ਪੇਸ਼ ਕਰਦੇ ਹਾਂ।ਪ੍ਰਸਿੱਧ ਐੱਨ. ਐੱਲ. ਆਈ. ਬੈਂਚਮਾਰਕ ਦੀ ਆਧੁਨਿਕ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਨਵਾਂ ਡੇਟਾ ਸੈੱਟਲੈੱਡਸਟੋਸਟੇਟ, ਜਦੋਂ ਕਿ ਮੁਸ਼ਕਲ ਚੁਣੌਤੀ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਰਿਹਾ ਹੈ।withitsnewtestset.Ouranalysisshedslightਆਪਣੇ ਕਮਜ਼ੋਰ ਪਹਿਲੂਆਂ ਨੂੰ ਲੱਭਣ ਵਿੱਚ ਸਫਲਤਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਆਧੁਨਿਕ ਮਾਡਲਾਂ ਅਤੇ ਗੈਰ-ਮਾਹਰ ਮਾਡਲਾਂ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ।ਇੱਕ ਨਿਰੰਤਰ-ਅੰਤ ਸਿੱਖਣ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਡੇਟਾ-ਸੰਗ੍ਰਹਿ ਵਿਧੀ ਲਾਗੂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਜੋ ਕਿ ਐੱਨ. ਐੱਲ. ਯੂ. ਲਈ ਇੱਕ ਗਤੀਸ਼ੀਲ ਟੀਚਾ ਬਣ ਜਾਂਦਾ ਹੈ, ਨਾ ਕਿ ਥੈਨੈਸਟੈਟਿਕ ਬੈਂਚਮਾਰਕ-ਜੋ ਕਿ ਤੁਰੰਤ ਸੰਤ੍ਰਿਪਤ ਹੋ ਜਾਵੇਗਾ।ਜਾਣ-ਪਛਾਣਃ ਪ੍ਰੋਗਰੈਸਿੰਨ ਏ. ਆਈ. ਹੈਸਬੈਂਡਰਿਵਨ ਦੁਆਰਾ, ਹੋਰ ਚੀਜ਼ਾਂ ਦੇ ਨਾਲ-ਨਾਲ, ਇਮੇਜਨੈੱਟ (ਰਸਕੋਵਸਕੀਟਲ) ਵਰਗੇ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਮਾਪਦੰਡਾਂ ਦਾ ਵਿਕਾਸ।2015) ਇਨਕੰਪਿਊਟਰਵਿਜ਼ਨ, ਅਤੇ ਐੱਸਐੱਨਐੱਲਆਈ (ਐੱਨਏਐੱਮਈ _ 1 ਈਟਾਲ., 2015), ਐੱਸਕਿਊਏਡੀ (ਰਾਜਪੁਰਕਰੇਟਲ., 2016), ਅਤੇਨੈਚੁਰਲ ਲੈਂਗੁਏਜ ਪ੍ਰੋਸੈਸਿੰਗ (ਐੱਨ. ਐੱਲ. ਪੀ.)। ਹਾਲ ਹੀ ਵਿੱਚ, ਨੈਚੁਰਲ ਲੈਂਗੁਏਜ ਅੰਡਰਸਟੈਂਡਿੰਗ (ਐੱਨ. ਐੱਲ. ਯੂ.) ਇਨਪਾਰਟੀਕਲ, ਫੋਕਸਸ਼ਿਫਟਡਟੋਕੌਮਬਾਈਨਡਬੈਂਚਮਾਰਕ ਜਿਵੇਂ ਕਿ ਸੇਂਟਈਵਲ (ਐੱਨ. ਏ. ਐੱਮ. ਈ. _ 2,2018) ਅਤੇ ਜੀ. ਐੱਲ. ਯੂ. ਈ. (ਵੈਂਗਟਲ., 2018), ਜੋ ਮਲਟੀਪਲੇਟਾਸਕਸ ਅਤੇ ਯੂਨੀਫਾਈਡ ਪਲੇਟਫਾਰਮ ਫਾਰ ਐਨਾਲਿਸਿਸ \'ਤੇ ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਟਰੈਕ ਕਰਦੇ ਹਨ।ਹਾਲਾਂਕਿ, ਐੱਨ. ਐੱਲ. ਯੂ. ਬੇਨਚਮਾਰਕਸ ਸਟ੍ਰਗਲਟੋਕੀਪ ਨਾਲ modelimprovement.Whereasittookaround15ਐੱਮ. ਐੱਨ. ਆਈ. ਐੱਸ. ਟੀ. ਉੱਤੇ "ਲਗਭਗ-ਮਨੁੱਖੀ ਪ੍ਰਦਰਸ਼ਨ" ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਸਾਲ (ਲੇਕੁਨੇਟਲ., 1998; ਸਾਇਰੇਨੇਟਲ., 2012; ਵੈਨੇਟਲ., 2013) ਅਤੇ ਲਗਭਗ 7 ਸਾਲ ਪਹਿਲਾਂਹਿਊਮੈਨਸਨਇਮੇਜਨੈੱਟ (ਡੇਂਗੈਟਲ., 2009; ਰਸਕੋਵਸਕੀਟਲ., 2015; ਹੀਟਲ., 2016) ਨੂੰ ਪਛਾਡ਼ਦੇ ਹੋਏ, GLUEbenchmarkdidnotꯂꯥꯁਟਾਸਲੋਂਗਸਵਹੈਸ਼ੋਪਡ ਆਫਟਰਟ ਹੈੱਡਵੈਂਟ ਆਫਬਰਟ (ਡੇਵਲੀਨੈਟਲ., 2018), ਐਂਡਰਾਪੀਡਲਾਈਹੈਡਟੋਬੀਐਕਸਟੈਂਡਿਨਟੋ ਸੁਪਰਗਲੂ (ਵੈਂਗੈਟਲ., 2019)।ਪ੍ਰਸ਼ਨਃ ਕੀ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਇਹ ਡਾਟਾ ਸੈੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ?ਸਪੀਡ ਦੇ ਨਾਲ ਕਿਹਡ਼ਾ ਬੈਂਚਮਾਰਕ ਇੱਕ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਸ਼ਨ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈਃ ਮੌਜੂਦਾ ਐਨ. ਐਲ. ਐਨ. ਐਲ. ਮਾਡਲਸ ਸੱਜਣ ਤੌਰ ਤੇ ਚੰਗੇ ਹਨਪ੍ਰਦਰਸ਼ਨ ਆਨਬੈਂਚਮਾਰਕਸ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ? ਐਗ੍ਰੋਇੰਗ ਬਾਡੀ ਆਫ ਐਵੀਡੇੰਸ ਸ਼ੋਅਸਟੈਟ-ਆਫ-ਦ-ਆਰਟ ਮਾਡਲਸਟੈਟਿਸਟੀਕਲ ਪੈਟਰਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸਿੱਖਦੇ ਹਨਇੰਡੈਟਾਸੇਟਸ (ਗੁਰੂਰੰਗਨੇਟਾਲ., 2018; ਪੋਲੀਆਕੇਟਾਲ., 2018; ਸੁਚੀਆ, 2018; ਗਲੌਕਨੇਰੇਟਾਲ., 2018; ਗੇਵਾ)etal., 2019; McCoyetal., 2019), ਲਰਨਿੰਗ ਮੀਨਿੰਗ-ਇਨਫਲੈਕਸੀਬਲ ਅਤੇ ਜਨਰਲਾਈਜ਼ੇਬਲਵੇਅ thathumansdo.Giventhis ਦੀ ਬਜਾਏ, ਮਨੁੱਖੀ ਸੰਕੇਤਕ-ਹੋ ਸਕਦੇ ਹਨ।ਉਹਨਾਂ ਨੇ ਤਜਰਬੇਕਾਰ ਐੱਨ. ਐੱਲ. ਪੀ. ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ-ਮਾਹਰਾਂ ਨੂੰ-ਸ਼ਾਇਦ ਅਸਾਨੀ ਨਾਲ ਹੋ ਸਕਦਾ ਹੈexposemodelbrittleness.Weproposeaniterative, ਐਡਵੌਰਸਰੀਅਲ ਹਿਊਮਨ-ਐਂਡ ਮਾਡਲ-ਇਨ-ਦ-ਲੂਪਸੋਲਿਊਸ਼ਨ ਫਾਰ ਐੱਨ. ਐੱਲ. ਯੂ. ਡੇਟਾਸੇਟ ਕਲੈਕਸ਼ਨ-ਐਡਰੈੱਸਜ਼ਬੋਥਬੈਂਚਮਾਰਕ ਲੋਂਗੇਵਿਟੀ ਅਤੇrobustnessissues.Inthefirststage, humanannotatorsdeviseexamplesthatourcurrentbestmodelscannotdeterminethecorrectlabelfor.Theseਨਤੀਜੇ ਵਜੋਂ ਹਾਰਡ ਉਦਾਹਰਣਾਂ-ਜਿਨ੍ਹਾਂ ਨੂੰ ਵਾਧੂ ਮਾਡਲਾਂ ਦੀਆਂ ਕਮਜ਼ੋਰੀਆਂ ਨੂੰ ਵਧਾਉਣਾ ਚਾਹੀਦਾ ਹੈ-ਸਿਖਲਾਈ ਨੂੰ ਵੱਖ-ਵੱਖ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ \n ']