Dort wurde das Talent von Elsworthy, der auch gut im Cricket war (er absolvierte ein Probetraining in Glamorgan), entdeckt und so kam es, dass ihn der nahegelegene Drittligist Ipswich Town im Mai 1949 verpflichtete.