Gloucester suri mõne päeva jooksul pärast seda, kui teda arreteeriti reetmise eest aastal 1447. Maja jäi troonile enne, kui seda enne 1457. aastat asutas Edwardi vennapoeg Richard Plantagenet, Yorki 3. hertsog, endine Lord Protector, kes hoidis lossis 400 härrasmeest ja relvamehed, et taotleda trooni; ta tapeti Wakefieldi lahingus 1460. aastal. See Londoni võimubaas võimaldas Yorki pojal kroonida kuningale Edward IV lossi suures saalis, samal ajal kui Henry VI ja Margaret Anjou käisid kampaaniat Põhja-Inglismaal. Edward andis lossi oma emale Cecily Neville'ile 1. juunil 1461, paar nädalat enne tema kroonimist, ja ta pani oma pere seal turvalisuse pärast enne otsustavat Barneti lahingut.
- Jah. Pärast seda, kui noored vürstid Edward V ja tema vend Richard kuulutati ebaseaduslikuks aastal 1483 ja vangistati Londoni torni, krooniti Edward'i vend Baynardi lossis kuningaks Richard III, nagu on kirjas Shakespeare'i näidendis "Richard III".