Байронның туған кедейлігі, оның лорд атағы да оның болашақ мансабының бағытын анықтады. Ол дүниеге келген кезде (Лондонның Холл-стрит қаласында, 1788 жылы 22 қаңтарда) оның әкесі отбасылық байлығын жоғалтып алған, ал анасы Еуропадан байлығының қалдықтарымен оралған. Байрон ханым Абердинде қоныстанды, оның мүгедек ұлын, ол ұлын солай атады, бір жылға жеке мектепке беріп, содан кейін классикалық гимназияға ауыстырды. Байронның балалық шағы туралы көптеген әңгімелер айтылады. Кішкентай Байронды күзеткен Грейдің әпкелері оған сүйіспеншілікпен кез келген нәрсені жасауға болады деп тапқан, бірақ оның анасы әрқашан оның бұзылуына ашуланып, оған кез келген нәрсені тастаған. Анасының ашуына ол жиі күлдіріп жауап беріп жүрді, бірақ бірде, ол өзінен өзі өлтіретін пышағын тартып алғанын айтады. Ол гимназияда нашар оқыды, ал Мэри Грейдің оған гимназия мұғалімдерінен гөрі Забур жырлары мен Киелі кітапты оқығаны оған көбірек пайда әкелді. Джордж 10 жасқа толғанда оның аға ағасы қайтыс болады, балаға мұрагерлікпен лорд титулы мен Байрондардың  Ньюстед аббатшылығының тұқым қуалайтын жері беріледі. Он жасар Байрон өзінің туысы Мэри Даффқа қатты ғашық болғандықтан, оның айттырғысы туралы естігенде, истерикалық ұстамаға ұшырады. 1799 жылы ол доктор Гленидің мектебінде оқыды, онда екі жыл болды және ауру аяғын емдеп жатты, содан кейін ол аяқ киюге жеткілікті болды. Осы екі жылда ол өте аз оқыды, бірақ дәрігердің бүкіл бай кітапханасын оқыды. Харроудағы мектепке кетер алдында Байрон тағы бір рет Маргарита Паркер деген басқа бір туысына ғашық болады.
Еуропадан оралғаннан кейін, Лейди Байрон қайда қоныстанды?
Абердинде