 Kọkọ parí gbólóhùn yìí: Lọdún 1121, Robert, tó jẹ Earl Gloucester, bẹrẹ sí í kọ Ṣọọṣì St. Mary tó wà ní àárín ìlú náà, wọn sì parí rẹ lọdún 1137. A motte ati bailey kasulu eyi ti o fun orukọ rẹ si Castle Street ti a ti kọ ni 1139 nigba ti : Ìwà Àìlófin. Ọdún 1154 ni wọn wó ilé náà lulẹ. Ibi tí Matalan ń gbé báyìí ni. Nígbà ayé àtijọ, wọn ṣàkọsílẹ pé ilé ọlọnà omi mẹfà ló wà ní Luton. Orúkọ ọkan lára wọn ni wọn fi pe òpópónà Mill Street tó wà ní àárín ìlú náà. 