Vor dem Bau dieses Barockpalastes befanden sich hier sechs Holzhäuser, die 1656 nach dem Abriss von im 16. Jahrhundert errichteten königlichen Pferdeställen des Sigismund II. August gebaut worden waren.